Ошибки в оценке науки, или как правильно использовать библиометрию. Ив Жэнгра

Так, среднее количество ссылок на одного автора в значительной мере зависит от размера дисциплин и специальностей. Например, в математике исследователей гораздо меньше, чем в медицине. В целом, при прочих равных условиях среднее количество ссылок на ту или иную статью зависит от размеров содержащихся в статьях библиографий, то есть от числа статей в этих библиографиях. Чем выше это число, тем больше у автора шансов, что его процитируют. Среднее число ссылок в статьях по всем дисциплинарным направлениям со временем существенно возросло, что отражает резкий рост числа исследователей и публикуемых статей (ил. 4a). Иначе говоря, рост среднего числа ссылок на одну статью, как показано на ил. 4б, является простым следствием демографических изменений в науке. Из этого следует, что абсолютное число ссылок мало что означает само по себе и что сравнения между разными научными областями по этому показателю некорректны. Его всегда нужно рассматривать в контексте дисциплины, к которой принадлежит исследователь, и за определенный период.

      Помимо этого, уже первые исследования показали, что процент самоцитирования в целом невелик (8 %), что ссылки на собственные публикации в журналах составляют примерно 20 % от их общего числа и что распределение цитирования отличается высокой концентрацией[40]. И наконец, как показывает ил. 5, неравномерно распределены не только ссылки, но также сами публикации и гранты, получаемые исследователями[41]. Речь идет о распределениях типа Парето, подчиняющихся так называемому правилу 20/80: на 20 % исследователей приходится, в общем и целом, 80 % цитат и грантов. У публикаций концентрация несколько ниже: на 20 % исследователей приходится не более 60 % статей.

      Ил. 5. Распределение грантов, публикаций и ссылок среди квебекских исследователей (источник: OST)

      С середины 1960-х годов ведется поиск корреляций между числом ссылок и различными переменными, характеризующими исследователей, с тем чтобы выявить детерминанты производительности ученых и влияния научных исследований. Так, в исследовании, опубликованном в 1966 году, установлено, что нет корреляции между коэффициентом интеллекта исследователей (IQ) и числом ссылок на их работы! Зато это число коррелирует с местом университета, в котором они защитили диссертацию, на шкале престижа, установленной экспертами[42]. Используя свой первый индекс (за 1961 год), Гарфилд выявил, что лауреаты Нобелевской премии за 1962 и 1963 годы цитируются в тридцать раз чаще, чем в среднем работы их коллег[43]. Другие исследования впоследствии подтвердили, что существует связь между уровнем цитируемости, производительностью, заслугами и степенью признания исследователей[44].

      Ил. 6. Сферы применения библиометрии

      Базы данных Web of Science уникальны тем, что охватывают длительный временной промежуток и включают, хотя и в неравной мере, все области знаний. Они позволяют всесторонне изучать социальные и когнитивные трансформации различных научных

40

См.: Eugene Garfield & Irving H. Sher, “New factors in the evaluation of scientific literature through citation indexing,” in American Documentation, 14, 1963, pp. 195–201.

41

См.: Vincent Larivière, Benoît Macaluso, Éric Archambault & Yves Gingras, “Which scientific elites? On the concentration of research funds, publications and citations,” in Research Evaluation, 19, 2010, pp. 45–53.

42

См.: Alan E. Bayer & John K. Folger, “Some correlates of a citation measure of productivity in science,” in Sociology of Education, 39, 1966, pp. 381–390.

43

Eugene Garfield, Irving H. Sher, “New tools for improving and evaluating the effectiveness of research,” in M. C. Yovits, D. M. Gilford, R. H. Wilcox, E. Staveley and H. D. Lemer (dir.), Research Program Effectiveness, Proceedings of the Conference Sponsored by the Office of Naval Research Washington, D. C., July 27–29, 1965 (New York: Gordon and Breach, 1966), pp. 135–146. Текст доступен в интернете: http://www.garfield.library.upenn.edu/papers/onrpaper.html.

44

Jonathan R. Cole, Stephen Cole, Social Stratification in Science (Chicago: University of Chicago Press, 1973).