«Наукометрия и библиометрия»: зачем измерять результативность научного труда и как это делают в 2020 году

Такие понятия, как информетрия, наукометрия, библиометрия и вебометрия, уже прочно встроились в жизнь преподавателей и библиотекарей, даже если мы еще этого не заметили. Сегодня высокая оценка публикационной активности и научной результативности ученого и организации, к которой он принадлежит, ― пропуск в мир авторитетной науки (и объемной господдержки!).

Но как и когда возникла идея оценивать публикационную активность и научную результативность? И как эта оценка происходит? Как базы данных научного цитирования, в которых мы обычно ищем тексты научных статей, решили проблему копирайта и авторского права? Как научное цитирование соответствует вопросам этики научных публикаций? И главный вопрос ― на каких основаниях научные и учебные организации, чьи авторы публикуются в журналах, получают финансирование от государства?

Действительно, в XXI веке занятие высоких административных и научно-педагогических позиций невозможно без владения на достаточно высоком уровне наукометрическими навыками. Несмотря на то, что в соответствующих должностных обязанностях нигде четко не прописаны подобные требования, их важность неопровержима.

На основе лекции Александра Елизарова «Двадцать лет в наукометрии: опыт директора НИИ, университетского профессора и главного редактора научного журнала» ЛаЛаЛань представляет первый материал из серии публикаций, посвященных недавно прошедшему учебному модулю «Школы Лани».

Познакомиться с первоисточником и записаться на следующий учебный модуль «Академическая грамотность» вы можете по ссылке: https://e.lanbook.com/courses. 

Информетрия: определение и объем понятия

Прежде чем перейти непосредственно к наукометрии и библиометрии, познакомимся с понятием, которое вмещает в себя обе названные предметные области, ― информетрия.
Информетрию определяют по-разному, сохраняя единую основу в каждом толковании. Базовое определение звучит так:

• информетрия (инфометрия) ― научная дисциплина, предметом изучения которой являются количественные измерения хранимой и используемой информации.

Таким образом, информетрия сфокусирована на измерении объема хранимой информации с помощью количественных показателей. Абстрактный пример: в одном учебнике по физике для 7-го класса 200 страниц, в другом ― 250. Предположительно, во втором объем хранимой информации больше. То же самое касается библиотечного каталога, папок с фотографиями на телефоне и т. д.
Одно из классических ― и более объемных ― определений информетрии  принадлежит Лео Эгге, одному из ведущих специалистов в области наукометрии и библиометрии. Он определяет информетрию так:

• «информетрия ― широкое понятие, включающее все метрические исследования, связанные с информатикой, в том числе библиометрию (библиографии, библиотеки...), наукометрию (научная политика, анализ цитирования, оценка исследования...), вебометрию (метрии Всемирной паутины, интернета или других социальных сетей, таких как сети цитирования или сотрудничества)…».

Так, можно сказать, что информетрия ― общее понятие, включающее в себя такие предметные области, как наукометрию, библиометрию, киберметрию и вебометрию. Дополнительно эти разделы научного знания связаны между собой как часть и целое (например, киберметрия и вебометрия). Некоторые понятия, такие как наукометрия и библиометрия, пересекаются. Наглядно увидеть эти взаимосвязи можно на изображении ниже.

Информетрия в современном мире приобретает особенное значение: сказывается все усиливающееся значение информации и прогресс в информационно-коммуникационных технологиях.

Помимо формирования новых областей исследования, связанных с оценкой и изучением социальных сетей, сайтов, интернет-источников и т. д., современная информетрия ставит своей целью разработку современных методов картографии и визуализации научных областей, введение новых показателей (например, h-индекс) и создание новых баз данных научного цитирования.

Информетрия старается определить, куда движется современная наука и насколько это движение эффективно и результативно, для чего и использует свой терминологический аппарат, разветвленную систему формул и перечень сложных индикаторов.

Библиометрия и наукометрия

Чуть выше вы уже познакомились с отношением таких понятий, как информетрия, библиометрия и наукометрия, друг к другу. Но что значит каждое из них?

• Библиометрия ― количественный инструмент для поддержки принятия решений, касающихся научной политики, мониторинга развития научных направлений и эффективности финансовых инвестиций в науку.

Объектами изучения в библиометрических исследованиях являются научные публикации, сгруппированные по авторам, журналам, тематическим рубрикам, странам и т. п.

• Наукометрия ― область науковедения, проводящая исследование науки количественными методами; научная дисциплина, изучающая эволюцию науки через многочисленные измерения и статистическую обработку научной информации (количество научных статей, опубликованных в данный период времени, цитируемость и др.).

В. В. Налимов, значительная фигура в отечественной наукометрии, определял ее как «количественные методы изучения развития науки как информационного процесса».

Истоки библиометрии и наукометрии восходят к 1923 году, когда появилась статистическая библиография. Сейчас, практически спустя сто лет, обе предметные области особенно важны для оценки результативности научной деятельности ученых и преподавателей вуза ― авторов научных публикаций.

Прикладная наукометрия сегодня ― это, в сущности, система показателей, построенная на сопоставлении библиографических данных: количества публикаций и их цитирований. Такие формализованные показатели, разумеется, не являются исчерпывающими, но в современной массовой и коммерциализированной науке их важность общепризнана.

Научные библиографические базы данных

База данных, индексирующая множество научных публикаций, называется научной библиографической базой данных. Ранее ЛаЛаЛань уже подробно писала о базах данных вот здесь.

Научные библиографические базы данных не содержат полных текстов документов (поэтому не связаны проблемами копирайта), а именно индексируют их, то есть содержат метаданные документов. Метаданные содержат следующую информацию:

• библиографическая информация (автор, заглавие, наименование журнала, год, том, выпуск, страницы);
• аннотация;
• ключевые слова;
• список цитируемой литературы;
• сведения об авторах публикаций и организациях, в которых они работают.

Количество источников, которое индексируют такие базы данных, может быть замкнутым (как в Web of Science Core Collection и Scopus) или открытым (как Google Scholar и РИНЦ).

По-другому база данных научного цитирования называется индексом цитирования. Отсюда, например, и происходит название РИНЦ. Эта аббревиатура расшифровывается как Российский индекс научного цитирования. РИНЦ представляет собой библиографическую базу данных научных публикаций российских ученых и индекс цитирования научных статей.

Один из важных показателей подобных баз данных ― их авторитетность. Она определяется и поддерживается балансом двух показателей:

• большой объем контента базы;
• качественный отбор источников.

Это позволяет называть авторитетную базу данных полидисциплинарной и мировой по охвату. При этом погоня только за увеличением объема может негативно сказаться на качестве контента, а сужение контента ведет к невостребованности базы. Именно поэтому авторитетная база данных стремится к балансу количества и качества индексируемых публикаций.
Библиографичеcкие базы сообщают о цитированиях документа или избранной группы документов в ЭТОЙ базе и вычисляют различные наукометрические показатели (статей, авторов, журналов, организаций), связанные с цитированием.

Эти показатели могут отличаться как алгоритмически, например, 2-летний и 5-летний импакт-факторы, так и численно для одного и того же алгоритма в силу различия контента, на котором этот алгоритм реализуется (например, импакт-факторы в Journal Citation Reports и в РИНЦ могут отличаться в разы). Поэтому любой наукометрический показатель имеет смысл лишь при указании базы, на которой он вычислен.

Цитирование

В системе научных коммуникаций научная статья является основным звеном распространения нового знания. Распространение этого знания происходит по определенным каналам связи ― научным журналам.

Особым языком научной коммуникации являются ссылки, пронизывающие тексты научных исследований, выстраивающие преемственность научного знания, формирующие доказательную базу исследования.

Так создается необходимая традиция цитирования, характерная для научного текста. Цитирование ― выразитель этики научных публикаций.

Каковы причины цитирования?

Можно выделить следующие причины:

• оказание уважения;
• признание вклада;
• определение/описание методов, оборудования;
• корректирование собственной работы или работ других авторов;
• критика предыдущих работ;
• указание дополнительной литературы по теме;
• отрицание результатов предыдущих работ;
• подтверждение данных.

Индексы цитирования и индикаторы

Обратившись к истории, можно заметить, что первые индексы цитирования и библиометрические индикаторы появились практически 150 лет назад, например:

• Shepard’s Citations ― 1873 г.; 
• Index Medicus ― 1879 г.;
• Science Citation Index (SCI) ― 1960 г., Social Sciences Citation Index (SSCI), Arts and Humanities Citation Index (AHCI).

Однако индикаторы, более известные современному ученому ― автору научных публикаций, появились в нынешнем тысячелетии. Это такие индикаторы и индексы цитирования, как: 

• h-индекс (индекс Хирша) ― 2005 г.; 
• Google Scholar ― 2006 г.; 
• g-индекс ― 2006 г. (Leo Egghe); 
• i-индекс ― 2006 г. (М. Космульский и Г. Пратхап); 
• импакт-фактор (ИФ, IF) ― с 1960-х гг. (Journal Citation Report).

Можно увидеть уже по этим спискам, что разработка индикаторов ― часто творческая, авторская работа ученых-библиомеров, которые ставят перед собой сложнейшую задачу ― измерить неизмеримое.

Крупнейшие индексы цитирования подразделяются на международные и национальные в зависимости от индексируемых публикаций. 

Международные индексы цитирования:

• Web of Science на платформе ISI Web of Knowledge;
• Scopus.

Национальные индексы цитирования:

• China Science Citation Database, 1988 г.;
• China Scientific and Technical Papers and Citation, 1989 г.;
• Taiwan Humanities Citation Index, 2003 г.;
• Citation Database for Japanese Papers, 1995 г.; 
• Российский индекс научного цитирования (РИНЦ), 2005 г. и др.

Индексация научных работ в этих базах данных позволяет оценивать как количественную продуктивность ученого, так и результативность его исследовательского труда. Для последнего используются различные наукометрические и библиометрические показатели, например, средняя цитируемость, нормализованная цитируемость, суммарная цитируемость, количество цитирования и многие другие.

Публикации как оценка результативности научной деятельности при бюджетировании учебных заведений и научных организаций

Во многих странах на основе оценки результативности научной деятельности внедрены системы бюджетирования НИОКР. 

Базовая схема систем финансирования НИОКР выглядит примерно так:

Эта система бюджетирования пытается совместить экспертную и наукометрическую оценку ―  оценку человека и математический расчет ― и представить сбалансированный анализ результативности и продуктивности научной деятельности организации.

Опыт зарубежных коллег в этом вопросе значительно отличается от российской практики. Так, в странах ЕС, в КНР, в США не существует единой системы оценки, многие организации оцениваются в частном порядке, самостоятельно или с помощью отдельных ведомств.

В России система формирования «рейтинга результативности» однопрофильных научных организаций появилась как идея в 2005 году. Минобрнауки тогда озвучило, что оценка будет основана на традиционных статистических инструментах измерений и использовании количественных индикаторов. В 2008 году были разработаны и утверждены положения об оценке, а также утвержден «Порядок оценки результативности научных организаций Российской Федерации».

В качестве одного из основных критериев оценки используется публикационная активность. В это понятие вкладываются данные о количестве публикаций работников научной организации в РИНЦ и WoS, их цитируемость в названных базах данных, импакт-фактор в WoS, а также число опубликованных докладов и тезисов, представленных на крупных конференциях, симпозиумах, чтениях.

На основе этих и других данных научные организации России были разделены на три категории:

• 1 категория ― научные организации-лидеры; 
• 2 категория ― стабильные научные организации, демонстри­рующие удовлетворительную результативность;
• 3 категория ― научные организации, утратившие научный профиль и перспективы развития.

В 2019 году соответствующее постановление разделило на три категории 192 организации: институты, научные центры и вузы. От этого разделения зависит бюджетирование, на его основе в том числе поддерживается авторитет и экспертность научной организации.

КБПР

В 2020 году была сформирована новая методика оценки. Теперь баллы за все публикации отражаются в формуле, по которой высчитывается так называемый КБПР — комплексный балл публикационной результативности. Формула определяет его как сумму баллов за каждую из строк публикационного отчета организации перед Миннауки.

Главное новшество по сравнению с версией 2019 года — фракционный счет, то есть разделение «веса» статьи в баллах между всеми авторами, указанными в журнале. КБПР исходит из предположения, что вклад всех авторов в статью равен. По правилам 2019 года качественным показателем считалось количество публикаций.

В методике коэффициенты отличаются для журналов, отнесенных к разным квартилям по индексу цитирования в Web of Science, а также для изданий Scopus, RSCI, списка ВАК и монографий. И разброс значений тут весомый:

• для квартилей Web of Science от первого к четвертому коэффициент составляет соответственно 19,7; 7,3; 2,7 и 1;
• для журналов Scopus, которых нет в Web of Science, и монографий — 1;
• квартили журналов в Scopus не учитываются, хотя они могут существенно отличаться от таковых в Web of Science, и если, например, издание индексируется в обеих базах, но в Scopus относится к первому квартилю, а в Web of Science — к третьему, оно получит всего 2,7 балла.

Эта методика ― попытка учесть все сложности научного сотрудничества, значения разных видов финансирования, научной ценности публикаций и эффективности работы организации через несколько повышающих и понижающих коэффициентов.

Однако и у нее есть существенные минусы. Так, страдают коллаборации и аффилиации, монографии по своему весу приравниваются к статьям, а публикации в Web of Science оцениваются в несколько раз дороже, чем для журналов Scopus. Более подробно о плюсах и минусах КБПР, а также о самой методике ЛаЛаЛань расскажет в одном из следующих материалов.

Вместо заключения

Сегодня наукометрия и библиометрия ― те области знания, которые стали неотъемлемой частью жизни любой научной организации. Ориентироваться в терминах, отличать индикаторы и разбираться в механике оценки результативности научной деятельности необходимо как авторам ― преподавателям вуза, так и библиотекарям, которые чаще становятся экспертами и консультантами для коллег-ученых.

Разумеется, любые наукометрические показатели ― это лишь термометр, сигнализирующий о болезни или выздоровлении, но никак не лекарство. Диагноз термометром не поставить, нужен врач. И тем более нельзя ставить целью достижение индикаторов ― надо развивать и осуществлять научные исследования и адекватно представлять их результаты, иначе любые индикаторы теряют смысл.

Но понимать причины и внутренние процессы необходимо любому сотруднику университета, чтобы в гонке за количеством публикаций не потерялось качество, оценка результативности только радовала, а ваша научная организация демонстрировала заслуженно высокие показатели.