Ошибки в оценке науки, или как правильно использовать библиометрию. Ив Жэнгра

торые могут в ней обнаружиться.

      Введение

      «Оценка»… Это слово вот уже несколько лет сотрясает академический и университетский мир. Особенно это ощущается в Европе, где с начала 2000-х годов идет процесс реформирования высшего образования[2]. Оценивать стремятся всех и вся: преподавателей, профессоров, исследователей, учебные программы и сами университеты. Показателей превосходства (excellence) и качества становится все больше, однако не всегда понятно, на каких основаниях эти показатели сконструированы.

      Среди инструментов, используемых для создания многочисленных индикаторов превосходства, которые менеджерский подход к высшему образованию и науке повсеместно навязывает как некую очевидность, одно из почетных мест принадлежит сегодня библиометрии. В качестве критериев оценки научной продукции и ее различных применений этот исследовательский метод использует научные публикации и их цитирование. Подсчет числа публикаций и ссылок, производимый с целью рейтингования университетов, лабораторий или исследователей, часто выдается за объективную меру ценности тех или иных научных результатов.

      Реагируя на распространение этих количественных показателей, многие исследователи критикуют библиометрию, ее изъяны и побочные эффекты, связанные с тем, что количество публикаций, а главное, число ссылок на них стали показателем качества и импакта их работ. Однако, как ни парадоксально, зачастую сами исследователи, принадлежащие к разным дисциплинам, спешат упомянуть об импакт-факторе журналов, в которых они публикуются, и кичатся своим индексом Хирша, как будто это гарантия их ценности и успеха. При этом они не всегда указывают на источник этих цифр и даже не вполне понимают реальное значение подобных показателей. Иными словами, невозможно всерьез вменять в вину одним лишь бюрократам всю эту «измерительную лихорадку». Ее сопровождает бешеная гонка к вершинам многочисленных рейтингов университетов, тогда как – и мы это покажем – эти рейтинги не имеют под собой ни малейшего научного основания.

      Во Франции в результате принятия закона 2007 года об автономии университетов и попыток реформирования организации научных исследований возникла повышенная чувствительность к вопросам оценивания, которые прежде мало обсуждались во французских академических кругах. Под влиянием этого контекста и несмотря на то что использование библиометрии редко является единственным критерием оценки, утвердилось ложное и опасное представление о тождестве между библиометрией и оцениванием, как если бы библиометрия была нужна лишь для оценки исследователей. А ведь именно отсутствие серьезной методологической рефлексии дает простор для хаотического, если не сказать дикого использования библиометрии. Например, на страницах журналов Nature, Science или в блогах полным-полно писем, опубликованных учеными, которые записались в «оценщики»… в основном своих конкурентов. Пока исследователи занимаются вычислением своего h-индекса в базах данных, не особо понимая, что он в действительности означает, профессора разглядывают под лупой многочисленные мировые рейтинги, чтобы выбрать из них тот самый, в котором их университет займет наилучшее место. Как отмечается в отчете Жоэля Бурдена, сенатора департамента Ер (Eure), в разных рейтингах почему-то систематически оказываются на первых позициях университеты разных стран: «Шанхайский рейтинг очень благоволит американским университетам… английский же рейтинг подчеркивает достижения вузов Соединенного королевства… а по Лейденскому рейтингу на лучших местах оказываются нидерландские университеты»[3]. Автор мог бы еще добавить, что рейтинг парижской Горной школы (Ecole des mines) отдает предпочтение французским высшим школам (grandes écoles)…[4]

      Хотя самые известные рейтинги университетов (включая Шанхайский) часто основываются и на библиометрических данных, проблемы, которые они поднимают, относятся не только к оценке научных исследований. Несмотря на частую критику в адрес этих рейтингов, большинство их защитников довольствуются тем, что указывают на их ограничения, не поднимая вопроса об их эпистемологических основаниях: действительно ли выбранные для рейтингования показатели обладают тем значением, которое им приписывается? В этой связи необходимо всерьез задуматься о компетентности многих руководителей вузов. Так, во Франции 61 % из них заявляют о том, что хотят повысить позицию своего университета в Шанхайском рейтинге, хотя можно с большой долей уверенности предполагать, что они не знают, что именно он измеряет![5]

      С середины 2000-х годов проходят многочисленные конференции и появляется множество публикаций об оценке научных исследований. В них постоянно всплывают одни и те же вопросы по поводу применения библиометрии, которые свидетельствуют о сложности в определении способов оценки науки[6]. Эти вопросы часто возникают, с одной стороны, из-за непрозрачности используемых концептов и показателей, а с другой стороны, из-за несогласия по поводу того, на каком уровне они могут применяться с пользой. По моему мнению, ясное понимание специфических характеристик самых распространенных библиометрических

2

См.: Abélard, Universitas calamitatum. Le Livre noir des réformes universitaires, Broissieux, éd. du Croquant, 2003; Christophe Charle et Charles Soulié (dir.), Les Ravages de la «modernisation» universitaire en Europe, Paris, Syllepse, 2007; Franz Schultheis, Marta Roca i Escoda et Paul-Frantz Cousin (dir.), Le Cauchemar de Humboldt. Les réformes de l’enseignement supérieur européen, Paris, Raisons d’agir, 2008; Claire-Akiko Brisset (dir.), L’Université et la recherche en colère. Un mouvement social inédit, Broissieux, éd. du Croquant, 2009.

3

Информационный доклад от лица комиссии Сената по планированию: Sur le défi des classements dans l’enseignement supérieur. Annexe au procès-verbal de la séance du 2 juillet 2008 [О трудностях рейтингования в высшем образовании. Приложение к стенограмме заседания от 2 июля 2008 года]. Известен под названием «rapport Bourdin» [доклад Бурдена] по имени сенатора Жоэля Бурдена. Доступен на сайте: http://www.senat.fr/rap/r07-442/r07-4421.pdf, цитата со с. 53.

4

См.: http://www.mines-paristech.fr/Ecole/Classements/.

5

Доклад Бурдена, там же, с. 98.

6

См., например, специальные номера по оценке научных исследований следующих журналов: Le Débat, 156, 2009; L’Homme et la Société, 178, 2010; Communication et organisation, 38, 2010; Connexions, 93, 2010; Quaderni, 77, 2012; Esprit, juillet 2012; Mouvements, 71, 2013; см. также: Albert Ogien, Désacraliser le chiffre dans l’évaluation du secteur public, Versailles, éd. Quae, 2013.