Совершенствование оценки эффективности деятельности подведомственных Правительству Российской Федерации образовательных и научных учреждений. Коллектив авторов

о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых[18].

      Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных и критериев, на основе которых материалы включаются и исключаются из подсчетов, находятся пока на недостаточном уровне. Из-за различий в степени покрытия базами данных поиски в различных системах часто дают разные результаты. Кроме того, базы данных могут быть склонны к ошибке, и степень покрытия меняется в зависимости от области исследований. Для получения, обработки и интерпретации информации о цитировании из баз данных от специалиста требуется владение комбинацией библиометрических и академических навыков в определенной области исследования.

      Поскольку и количество публикаций, и степень цитируемости значительно разнятся в зависимости от областей исследований, то возможности для проведения сравнений очень ограничены. Существует рекомендация сравнивать «подобное с подобным». Так, для анализа цитируемости на предмет оценки успешности университетского исследования данные должны быть нормализованы, например, путем соотнесения среднего числа цитирований статьи с мировым средним значением по конкретной области исследований. Такой подход позволяет учесть различную степень воздействия отдельных исследовательских направлений.

      В количественной оценке цитирования работ по социальным и гуманитарным наукам существуют специфические проблемы. В этих предметных областях статьи в журналах могут отражать лишь отдельные аспекты проводимых исследований, что сказывается на уровне их цитирования[19].

      Индикаторы трансфера знаний и коммерциализации результатов исследований в последние годы приобрели особую значимость, поскольку исследования и политики в области инноваций стали более интегрированными. Эти индикаторы могут базироваться на измерении количества лицензий и стартапов, но могут также быть связаны с проведением совместных исследований, консультационной деятельностью, а также с возможностями трудоустройства выпускников со степенью PhD и удовлетворенностью работодателей уровнем подготовки выпускников.

      Индикаторы второго уровня. В результате выявленных методологических проблем с оценкой цитируемости были разработаны несколько индексов, которые доступны в большинстве баз данных. Но к их использованию в качестве индикаторов необходимо относиться с большой осторожностью, что не всегда имеет место на практике.

      Основными индексами являются импакт-фактор журнала и индекс Хирша. Импакт-фактор журнала – показатель, дающий характеристику среднему числу цитирований статей, опубликованных в данном журнале в пределах определенного срока. Однако существуют значительные

18

Lehmann S., Lautrup B. E. and Jackson A. (2009) Comment: Citation Statistics. Statistical Science, vol. 24, no 1, pp. 17–20.

19

Hicks D. (2006) The Dangers of Partial Bibliometric Evaluation in the Social Sciences. Economia Politica, XXIII, no 2, pp. 145–162.