«Наукометрия и библиометрия»: библиометрические индикаторы и все, что с ними связано
Библиотекам, преподавателям
Библиометрические индикаторы часто воспринимают или как некие формальные цифры, плохо характеризующие реальность, или как забавные величины для «померяться», или, что хуже всего, как отчетные сведения, которые строго необходимо «подать».
Однако на самом деле за каждым библиометрическим показателем стоят усилия человеческой мысли, талантливые попытки решить ту или иную реальную проблему, уйти от недостатков предшественников, сделать очередной шаг вперед. Специалисты по библиометрии, или «библиомеры», — искренние ученые: они не стремятся никого загнать в хитро расчерченные сети таблиц и цифр, а изо всех сил стараются совершить чудо — измерить неизмеримое. Измерить научный вклад, талант, гениальность.
Однако на самом деле за каждым библиометрическим показателем стоят усилия человеческой мысли, талантливые попытки решить ту или иную реальную проблему, уйти от недостатков предшественников, сделать очередной шаг вперед. Специалисты по библиометрии, или «библиомеры», — искренние ученые: они не стремятся никого загнать в хитро расчерченные сети таблиц и цифр, а изо всех сил стараются совершить чудо — измерить неизмеримое. Измерить научный вклад, талант, гениальность.
О библиометрических индикаторах — способах их вычисления и применения для оценки результативности научной деятельности — рассказал Владимир Писляков, кандидат ф.-м. наук, заместитель директора библиотеки Национального исследовательского университета «Высшая школа экономики», автор книг «Руководство по наукометрии», «Библиометрические индикаторы: практикум», член редколлегии «Journal of Informetrics».
В первом учебном модуле «Школы Лани» — «Наукометрия и библиометрия» (18−19 ноября) — Владимир Писляков представил лекцию «Развитие библиометрии как жизнь человеческого духа». По ее мотивам ЛаЛаЛань подготовила для вас данную статью.
Познакомиться с первоисточником и записаться на следующий учебный модуль «Академическая грамотность» (15−16 декабря) вы можете по ссылке: https://e.lanbook.com/courses (не забудьте авторизоваться в ЭБС Лань).
Исторические аспекты
Впервые подсчетом количества ссылок на научный материал занялись П. Гросс и Е. Гросс. В 1927 г. авторы проанализировали цитаты, отмеченные сносками в журналах по химии, что позволило им провести ранжирование этих журналов на основе частоты их цитирования.
Это исследование, заложившее практически сто лет назад основы библиометрии, разумеется, было не совершенно: четко прослеживалась зависимость от объема и периодичности издания. (иными словами, чем больше журнал и чем чаще он выходит, тем активнее на него ссылаются).
Нынешняя система выявления показателей цитируемости уже не основывается на простом количественном подсчете. Однако, даже шагнув вперед, она не вызывает доверия у исследователей: ученые и сейчас не любят, когда их считают и измеряют.
Импакт-фактор
В 1963 г. Ю. Гарфилд и И. Шер модернизировали подход П. Гросса и Е. Гросса. Количество цитирований, нормированное на количество статей, стало основой нового показателя для журнала — его импакт-фактора.
Он вычисляется по формуле, где количество цитирований делится на число статей в журнале за временной период, предшествующий году расчета. Это период может составлять 2 года или 5 лет: так появляется 2-летний и 5-летний импакт-факторы.
Изначально существовал только 2-летний импакт-фактор, поэтому в начале мы будем говорить о нем.
Наглядно вычисление импакт-фактора журнала отдельной базы данных выглядит вот так:
Познакомиться с первоисточником и записаться на следующий учебный модуль «Академическая грамотность» (15−16 декабря) вы можете по ссылке: https://e.lanbook.com/courses (не забудьте авторизоваться в ЭБС Лань).
Исторические аспекты
Впервые подсчетом количества ссылок на научный материал занялись П. Гросс и Е. Гросс. В 1927 г. авторы проанализировали цитаты, отмеченные сносками в журналах по химии, что позволило им провести ранжирование этих журналов на основе частоты их цитирования.
Это исследование, заложившее практически сто лет назад основы библиометрии, разумеется, было не совершенно: четко прослеживалась зависимость от объема и периодичности издания. (иными словами, чем больше журнал и чем чаще он выходит, тем активнее на него ссылаются).
Нынешняя система выявления показателей цитируемости уже не основывается на простом количественном подсчете. Однако, даже шагнув вперед, она не вызывает доверия у исследователей: ученые и сейчас не любят, когда их считают и измеряют.
Импакт-фактор
В 1963 г. Ю. Гарфилд и И. Шер модернизировали подход П. Гросса и Е. Гросса. Количество цитирований, нормированное на количество статей, стало основой нового показателя для журнала — его импакт-фактора.
- Импакт-фактор (ИФ, или IF) — численный показатель цитируемости статей, опубликованных в данном научном журнале.
Он вычисляется по формуле, где количество цитирований делится на число статей в журнале за временной период, предшествующий году расчета. Это период может составлять 2 года или 5 лет: так появляется 2-летний и 5-летний импакт-факторы.
Изначально существовал только 2-летний импакт-фактор, поэтому в начале мы будем говорить о нем.
Наглядно вычисление импакт-фактора журнала отдельной базы данных выглядит вот так:
Импакт-фактор зависит от базы данных, применительно к которой он рассчитывается. Без ее упоминания этот показатель неинформативен.
Недостатки импакт-фактора
Поскольку импакт-фактор используется для оценки значимости научных журналов еще с 1960-х гг., то у ученых было довольно много времени, чтобы узнать его недостатки.
Например, в менеджменте медианный импакт-фактор составляет 2.5, а в истории только 0.5.
Медианный импакт-фактор означает, что половина всех журналов по менеджменту получила импакт-фактор больше 2.5, половина меньше 2.5. Разумеется, в сравнении с импакт-фактором журналов по истории разница очевидна.
Поэтому само значение импакт-фактора без указания науки неинформативно: например, журнал по менеджменту с импакт-фактором 2 будет не самым лучшим, при этом для исторического журнала импакт-фактор 2 будет причиной для гордости.
Если статья не совпадает с профилем журнала, то она не учитывается в подсчете.
Упомянутые в начале 2 года представляют собой традицию, которая была установлена еще пионерами библиометрии. Сейчас, с учетом того, что разные науки обновляются и развиваются с разной скоростью, этот временной отрезок несовершенен.
Недостатки импакт-фактора
Поскольку импакт-фактор используется для оценки значимости научных журналов еще с 1960-х гг., то у ученых было довольно много времени, чтобы узнать его недостатки.
- Существенная зависимость от области науки.
Например, в менеджменте медианный импакт-фактор составляет 2.5, а в истории только 0.5.
Медианный импакт-фактор означает, что половина всех журналов по менеджменту получила импакт-фактор больше 2.5, половина меньше 2.5. Разумеется, в сравнении с импакт-фактором журналов по истории разница очевидна.
Поэтому само значение импакт-фактора без указания науки неинформативно: например, журнал по менеджменту с импакт-фактором 2 будет не самым лучшим, при этом для исторического журнала импакт-фактор 2 будет причиной для гордости.
- Негибкие границы областей науки (journal-based classification).
Если статья не совпадает с профилем журнала, то она не учитывается в подсчете.
- Произвольный временной отрезок «публикационного окна» (два года).
Упомянутые в начале 2 года представляют собой традицию, которая была установлена еще пионерами библиометрии. Сейчас, с учетом того, что разные науки обновляются и развиваются с разной скоростью, этот временной отрезок несовершенен.
- Зависимость от выбросов («проблема среднего значения»).
Проблема импакт-фактора заключается в том, что вышедшая единожды в журнале статья, набравшая множество цитирований, способна невероятно поднять рейтинг в целом посредственного журнала на ближайшие два года.
Так, в журнале Acta Crystallographica в 2008 году вышла статья, которая поставила в 2009 и 2010 гг. этот журнал в один ряд с самыми крупными и авторитетными журналами.
Так, в журнале Acta Crystallographica в 2008 году вышла статья, которая поставила в 2009 и 2010 гг. этот журнал в один ряд с самыми крупными и авторитетными журналами.
- Зависимость от типов статей, публикуемых журналом.
Обзорные статьи получают обычно больше ссылок, несмотря на то, что в большинстве случае непосредственно исследовательские статьи имеют бОльшую научную ценность.
Импакт-фактор это не учитывает.
Какие еще проблемы связаны с 2-летним импакт-фактором?
- Зависимость от контента базы данных.
- Зависимость от самоцитирования.
- «Все ссылки равны» (не учитывает статус цитирующего журнала ― Nature это или «Вестник N-ского университета», лишь бы он был включен в базу данных).
Попытки решить проблемы, связанные с импакт-фактором
- Пятилетний импакт-фактор вместо двухлетнего.
В ряде наук (например, в социальных дисциплинах) за двухлетний период идеи не успевают в полной мере распространиться в научном сообществе и быть им восприняты. Поэтому было предложено рассчитывать в том числе и пятилетний импакт-фактор.
2. Нормализованный (относительный) импакт-фактор для отдельных дисциплин.
Этот показатель делит импакт-фактор журнала на средний импакт-фактор по дисциплине. Это позволяет получить более объективные значения для разных областей науки.
Этот показатель делит импакт-фактор журнала на средний импакт-фактор по дисциплине. Это позволяет получить более объективные значения для разных областей науки.
3. Source Normalized Impact per Paper (SNIP, «стандартное влияние источника на статью», «средняя цитируемость статьи нормализованная по источникам»).
Показатель отражает влияние контекстной цитируемости журнала, что позволяет непосредственно сравнивать журналы различной тематики.
В данном случае учитываются частота, с которой авторы цитируют другие источники, скорость развития влияния цитаты и степень охвата литературы данного направления базой данных.
Показатель отражает влияние контекстной цитируемости журнала, что позволяет непосредственно сравнивать журналы различной тематики.
В данном случае учитываются частота, с которой авторы цитируют другие источники, скорость развития влияния цитаты и степень охвата литературы данного направления базой данных.
Также отметим, что SNIP не учитывает те ссылки, которые уходят вне базы данных, взятой для расчета.
4. «Взвешенные» индикаторы.
Названные выше индикаторы не учитывали авторитет издания: ссылки, которые получали журнал/автор/организация, были для них «одинаковы», показатели «не замечали», откуда именно получено то или иное цитирование.
Названные выше индикаторы не учитывали авторитет издания: ссылки, которые получали журнал/автор/организация, были для них «одинаковы», показатели «не замечали», откуда именно получено то или иное цитирование.
Эту тонкость решили отметить в вычислении показателей, которые называются «взвешенными», поскольку они учитывают полученные журналом цитирования с различным весом — в зависимости от того, насколько «влиятелен» тот источник, из которого получено цитирование. Эта влиятельность, в свою очередь, зависит от цитируемости самого источника ссылки.
Так, например, ссылка из Nature весомее, чем ссылка из малоизвестного регионального издания. На приведенной схеме «взвешенные» индикаторы расположились в такой градации для журналов от большей ценности к меньшей: 3−1−2.
5. h-индекс = индекс Хирша.
И, наконец, еще одна попытка уйти от недостатков импакт-фактора ― введение иного индикатора ― индекса Хирша.
Индекс Хирша представляет собой целое число, получаемое на пересечении функции у=х и графика, соединяющего количество написанных статей и число полученных на них ссылок.
Это смелая попытка одним числом оценить продуктивность ученого на основе числа его статей. Чтобы индекс Хирша был высоким, ученому нужно публиковать ― часто и много ― хорошо цитируемые статьи.
Это смелая попытка одним числом оценить продуктивность ученого на основе числа его статей. Чтобы индекс Хирша был высоким, ученому нужно публиковать ― часто и много ― хорошо цитируемые статьи.
В настоящий момент в библиометрическом сообществе этот индикатор уже не воспринимается всерьез ввиду его необъективности.
Какие недостатки имеет этот показатель?
С другой стороны, чаще цитируются публикации в традиционных областях математики, которые не требуют от читателя высокого уровня специальных знаний и могут быть лишены какой-либо оригинальности. В то время как серьезные научные труды в узкоспециализированных областях науки могут получить меньшее количество ссылок, что в итоге отразится на индексе Хирша.
Вместо заключения
Вместе с вами мы коснулись истории библиометрии и подробно рассмотрели основной ее показатель на данный момент ― импакт-фактор.
За почти 60 лет применения импакт-фактора для оценки журнала, входящего в определенную базу данных, было выявлено множество его недостатков. В попытке избежать их предлагались новые решения ― более или менее успешные:
Применительно к созданию новых библиотечных индикаторов и усовершенствованию имеющихся главное — нормализация и создание равных условий для разных статей, журналов, авторов, лабораторий, университетов, стран.
Всем интересующимся библиометрией мы предлагаем дополнительно обратиться к пособию «Руководство по наукометрии: индикаторы развития науки и технологии».
ЛаЛаЛань благодарит Владимира Пислякова за его выступление «Развитие библиометрии как жизнь человеческого духа» на первом учебном модуле «Школы Лани», который был посвящен наукометрии и библиометрии.
Послушать его лекцию в записи и записаться на следующие учебные модули вы можете по ссылке: https://e.lanbook.com/courses.
Какие недостатки имеет этот показатель?
- Если ученый опубликовал 5 статей и их процитировали 100 раз, то h=5. Если ученый опубликовал 100 статей и их процитировали 5 раз, то его h тоже равен 5. Так мы получаем одно и то же число для описания совершенно различного вклада в науку.
- Чем старше ученый, тем больше он успел написать, тем более известным (цитируемым) он мог стать и тем выше его индекс Хирша.
- Индекс Хирша не предполагает нормализацию по дисциплине, а значит, что низкий индекс Хирша может не отражать действительной гениальности ученого и значимости его вклада в науку.
С другой стороны, чаще цитируются публикации в традиционных областях математики, которые не требуют от читателя высокого уровня специальных знаний и могут быть лишены какой-либо оригинальности. В то время как серьезные научные труды в узкоспециализированных областях науки могут получить меньшее количество ссылок, что в итоге отразится на индексе Хирша.
- Кроме того, поскольку индекс Хирша ― это целое число, у него низкая разрешающая способность (условные показатели 5.1, 5.3 и 5.4 у разных исследователей равны и составляют 5).
Вместо заключения
Вместе с вами мы коснулись истории библиометрии и подробно рассмотрели основной ее показатель на данный момент ― импакт-фактор.
За почти 60 лет применения импакт-фактора для оценки журнала, входящего в определенную базу данных, было выявлено множество его недостатков. В попытке избежать их предлагались новые решения ― более или менее успешные:
- пятилетний импакт-фактор вместо двухлетнего;
- импакт-фактор, нормализованный по дисциплине;
- SNIP, учитывающий среднюю цитируемость одной статьи журнала и потенциал цитируемости дисциплины;
- «взвешенные» индикаторы, отмечающие «путь» цитирования;
- индекс Хирша.
Применительно к созданию новых библиотечных индикаторов и усовершенствованию имеющихся главное — нормализация и создание равных условий для разных статей, журналов, авторов, лабораторий, университетов, стран.
Всем интересующимся библиометрией мы предлагаем дополнительно обратиться к пособию «Руководство по наукометрии: индикаторы развития науки и технологии».
ЛаЛаЛань благодарит Владимира Пислякова за его выступление «Развитие библиометрии как жизнь человеческого духа» на первом учебном модуле «Школы Лани», который был посвящен наукометрии и библиометрии.
Послушать его лекцию в записи и записаться на следующие учебные модули вы можете по ссылке: https://e.lanbook.com/courses.
Понравился ли Вам материал?