Отдел науки газеты.ru о том, как в россии могут оценивать эффективность работы научных учреждений

Реформа Русском академии наук (РАН) набирает силу. Очередным ее этапом станет оценка эффективности работы научных учреждений, входящих в совокупность РАН.

Отдел науки газеты.ru о том, как в россии могут оценивать эффективность работы научных учреждений

«никакой ответственности — и Безбрежные полномочия»

Рабочая группа публичного контроля за результатами и ходом реформ в сфере науки прогнозирует русским ученым громадные неприятности, а профсоюз РАН хоть и…

В первых числах Ноября было принято распоряжение правительства «О внесении трансформаций в Правила оценки результативности деятельности научных организаций, делающих научно-исследовательские, умело-конструкторские и технологические работы гражданского назначения». В пояснительной записке к нему утверждается: «Оценка результативности деятельности научных организаций проводится на основании всестороннего, а также экспертного, анализа сведений о итогах деятельности научной организации, представленных научной организацией в соответствии с правилами в федеральный орган аккуратной власти, в ведении которого находится научная организация, и отражающих деятельность научной организации за последние пять календарных лет» (п. 13).

«Газета.Ru» постаралась разобраться в том, что имеется в виду под формулировкой «всесторонний анализ сведений».

Как поведал «Газете.Ru» врач физико-математических наук, академик РАН Алексей Паршин, в августе 2013 года в Академию наук поступил проект науки Министерства МОН и приказа (образования), включающий «Типовую методику оценки результативности деятельности научных организаций, делающих научно-исследовательские, умело-конструкторские и технологические работы гражданского назначения». Этот документ предусматривает оценку результативности деятельности научных организаций на базе 70 численных показателей (единицы измерения: штуки, люди и рубли), и большое место тут занимают библиометрические показатели (число публикаций, индекс цитирования, импакт-фактор изданий, в которых публикуются исследователи). Как стало известно после заседания Совета по науке при МОН, состоявшегося 10 сентября, ведомство собирается использовать такие подходы для оценки научной деятельности университетов РАН. «Нельзя исключать, что эти сведенья будут использованы для резкого (многократно) сокращения численности научных сотрудников», — отмечает Паршин.

Отдел науки газеты.ru о том, как в россии могут оценивать эффективность работы научных учреждений

«Сокращения будут. Как минимум двукратные»

Чуть вступив в силу, закон о реформе РАН уже привёл к определённым трудностям в научных организациях. Гуманитарные университеты уменьшают затраты на…

на данный момент в большинстве университетов, входящих в совокупность Академии наук (РАН), существует иерархия сотрудников — от младших научных сотрудников (их осталось очень мало, это либо будущие кандидаты, либо только что защитившиеся кандидаты наук) до основных научных сотрудников (общепризнанных авторитетов, профессор , авторов монографий). У всех них имеется собственный замысел научной работы, что определяется на срок от 3 до 5 лет. В гуманитарных науках формой отчетности по нему есть монография (время от времени – цикл статей).

Исторически такое устройство научного труда объяснимо: государство выступало собственного рода покупателем и заказчиком результатов работы ученых.

Но при данной совокупности сложно оценивать уровень качества выполненной работы, да и не все работники советских научно-исследовательских университетов (НИИ) стремились к блестящему исполнению собственных заданий.

В начале – середине 1990-х годов, на фоне резкого снижения финансирования науки, многие русские ученые (по большей части представители естественных наук, но не только) стали обращаться к грантам. А чтобы приобретать деньги под конкретные проекты, стали необходимы новые критерии для оценки эффективности научной работы.

Одним из них имело возможность бы стать количество опубликованных монографий и статей. Но в Российской Федерации в связи с существующими нормами Высшей аттестационной рабочей группе (ВАК) по защите диссертаций (докторских и особенно кандидатских) многие издания стали промышлять сдачей собственных страниц «в аренду», за деньги размещая формальные статьи, нужные для выхода на защиту. Помимо этого, в условиях падения финансирования в советском прошлом осталась совокупность внешнего рецензирования статей, что открыло простор для кумовства и других не имеющих отношения к науке сделок.

Не следует забывать и о качестве продукта, неминуемо падающем при работе «на вал». «В Америке для ученого-гуманитария нормой есть одна — максимум две статьи в год, действительно, учитываются лишь вышедшие в рецензируемых изданиях», — поведала обозревателю «Газеты.Ru» аспирантка исторического факультета Ратгерского университета (США).

Однако многие ученые деятельно стремятся публиковаться.

Так, у некоторых научных сотрудников в год выходит более десятка статей, действительно, в основном в вестниках региональных университетов, в которых облегчена процедура рецензирования.

Само собой разумеется, обстановка в естественных науках с сточки зрения количества публикаций несложнее: обычно одну статью готовит дюжина ученых, так что количество материалов за авторством физика либо математика традиционно больше.

Отдел науки газеты.ru о том, как в россии могут оценивать эффективность работы научных учреждений

«В случае если нет в стране науки, в ней руководят жлобы»

На конференции РАН, где обсуждалось будущее и настоящее русском науки, слово в защиту науки сообщил Александр Городницкий, геофизик, врач…

Но «валовая» совокупность продемонстрировала собственный несовершенство. Исходя из этого обратились к второй совокупности оценки — через индекс цитируемости. Предполагается, что ученый действен в том случае, если на его работы большое количество ссылаются — причем в течении долгого времени и в реферируемых изданиях.

Данный способ изначально употреблялся в Соединенных Штатах, где и появились самые авторитетные базы данных — Web of Science, Scopus и другие. Но для россиян, в особенности гуманитариев, эти совокупности неточны: они ориентированы на англоязычные журналы и англоязычные публикации, исходя из этого труды отечественных историков, например, отражены в том месте фрагментарно. В следствии в Российской Федерации появилась личная база — Российский индекс научного цитирования (РИНЦ), индексирующий русскоязычные издания.

Так, современная наукометрия уверен в том, что ученый действен, в случае если его фамилия довольно часто появляется в сносках. Суть данной совокупности понятен: с одной стороны, высказывание спорных точек зрения порождает предстоящую дискуссию, и это разрешает науке развиваться, с другой — создание авторитетного текста показывает эффективность проделанной автором либо авторами работы.

Порождением этого показателя делается импакт-фактор (используется к изданию) — другими словами показатель цитируемости издания. Он рассчитывается так: число цитирований статей за 2012 год делится на общее число статей, размещённых в 2010–2011 годах.

Еще одной серьёзной производной количественных оценок делается индекс Хирша.

Он имеет значение N, в случае если создатель имеет N статей, на каждую из которых сослались как минимум N раз, а остальные его статьи имеют число цитирований не более N.

Казалось бы, совокупность, основанная на правильных цифрах, с одной стороны, эргономична распределяющим средства администраторам, с другой – сужает пространство для манипуляций, других неприятностей и непотизма.

Но лучезарная картина яркого цифрового будущего очень сильно затуманилась при встрече с действительностью. В случае если сказать о частностях, то оказалось, что эта совокупность уязвима для махинаций. В эссе американских математиков Дугласа Арнольда и Кристин Фаулер «Гнусные цифры» (размещено в сборнике «Игра в цыфирь, либо Как сейчас оценивают труд ученого») приводится пример китайца Хэ Цзихуаня, что всегда ссылался на издание International Journal of Nonlinear Sciences and Numerical Stimulations (IJNSNS) (243 раза за 2 года – подсчеты 2008 г.). Делал он это не из любви к науке – он был в нем редактором, как и еще в 20 вторых изданиях. «В общем итоге совокупность таких родственных редакторам ссылок, для обнаружения которых требуется большое количество времени, включает более 70% ссылок, использованных для вычисления импакт-фактора ?NSNS», — отмечают Арнольд и Фаулер.

Помимо этого, эта совокупность ставит представителей различных ветвей познания в неравные условия. Так, индекс цитируемости «заточен» под учет статей в изданиях – главной форме научной литературы для физиков. Но математики возражают: огромную долю в математической научной литературе образовывает «серая литература» — отчеты, препринты и т.п. «А В первую очередь 1990-х более либо менее любой математик может положить собственный текст в архив текстов, где он покажется через один-два дня и будет «всегда» дешёв всем желающим; условия – текст на английском (формально на «любом») и написанный в ТеХ’е, особой программе, на которой математики пишут собственные статьи», — поведал д.ф.м.н., академик РАН Алексей Паршин.

Данный архив базируется в Корнелльском университете в Соединенных Штатах, и, как подчеркивает Паршин, именно там находятся известные работы Григория Перельмана.

Конечно, что базы не индексируют тексты в этом архиве.

Отдел науки газеты.ru о том, как в россии могут оценивать эффективность работы научных учреждений

Наукометрия: от индексов к деньгам

О том, как в Российской Федерации и в мире принято сравнивать эффективность исследовательской деятельности конкретных учёных и конкретного научного учреждения, в…

«Совокупность не учитывает большинства ссылок на труды историков, потому, что ориентирована на журнальные статьи, а не на монографии, являющиеся важнейшим и популярным «жанром» среди экспертов-гуманитариев», — додаёт в собственной статье «Русский индексы и историческая наука научного цитирования» кандидат исторических наук, научный сотрудник ИРИ РАН Виталий Тихонов. Он утвержает, что в РИНЦ довольно часто кроме этого не попадают популярные в отечественной гуманитарной науке «сборники тезисов». «Осознать сотрудников РИНЦ возможно: если они будут включать в сборники статей и индекс монографии, каковые на данный момент издать очень легко, а отследить тяжело, они просто утонут в потоке литературы», — подмечает Тихонов.

В следствии в Российской Федерации отмечается заметный перекос в показателях: согласно данным, каковые приводит Тихонов, самый большой индекс научного цитирования в Российской Федерации у нобелевского лауреата А.К. Гейма, что образовывает 40 216 цитирований, и индекс Хирша − 52. Для сравнения: самый большой рейтинг среди гуманитариев — у археолога А.П. Деревянко: всего 2 750, а индекс Хирша – 14.

Цифры вместо науки

Но имеется к данной совокупности и содержательные претензии. «Когда вы начинаете оценивать какой-то содержательный процесс по формальному показателю, так достаточно скоро целью процесса делается не та содержательная деятельность, которую он оцениваете, а рвение любой ценой расширить данный показатель», — утверждает Паршин. Он утвержает, что «большое число ученых уверен в том, что импакт-фактор есть инструментом коммерции в руках издательств, а не инструментом научной оценки».

Достаточно жестко высказывается по поводу аналогичного подхода к наукометрии и американский биолог Питер Лоуренс. Согласно его точке зрения, имеет место сдвиг мотива на цель: «опубликование стало основной целью, по причине того, что это – путь выживания ученого». Рвение публиковаться, причем как раз в изданиях с высоким импакт-фактором, делается независимой и нужной мотивацией для ученого. В следствии искажаются результаты (так как критики смогут в них усомниться), и делается простой практикой «вылавливание цитат» и «цитатный обмен».

Для России (особенно в части гуманитарных наук) эта неприятность актуальна в квадрате: как отметил в одном из собственных публичных выступлений помощник главреда одного из наибольших русских исторических изданий, «возможно сказать о глубоком кризисе историографической культуры», другими словами значительно чаще никакой системности в сносках не отмечается.

Присутствует в научном мире и некая, скажем так, вольность в работе с литературой. «Одна из информанток сказала прямым текстом, что начальник вынудила ее убирать сноски, говоря о том, что эти же выводы она имела возможность сделать и сама», — подмечают в статье Само собой разумеется, ученые предлагают альтернативы количественным показателям. Паршин уверен в том, что главным методом оценки будет экспертиза. Так, он обращает внимание: работа редколлегий, отбор докладчиков на конференции, отбор специалистов существовали в науке много лет, а они довольно часто основаны на субъективных оценках. «Мой персональный опыт участия во всех упомянутых видах оценочной деятельности говорит, что, в большинстве случаев, она ведет к разумным итогам», — утверждает Паршин.

Паршин отмечает: в ряде развитых в научном отношении государств применение индекса цитируемости ученого либо импакт-фактора издания для оценки эффективности ограничено. Так, в Англии происходит оценка деятельности всех научных организаций а период c 1 января 2008-го по 31 июля 2013 года. В соответствии с правилу №53, «комиссии не будут применять импакт-факторы изданий, рейтинги либо подразумеваемую репутацию издателя при вынесении суждения об уровне представленных результатов, причем это относится ко каждому научным дисциплинам.

Кроме этого в правиле 52 финансирующие структуры «не предлагают и не советуют институтам основываться на данных цитирования при отборе персоналий либо результатов для включения в представления».

Последовательность учреждений, к примеру Университет перспективных изучений в Принстоне (США), согласно данным Паршина, отказываются от применения библиометрики. У экспертизы, но, имеется недочёт: она провоцирует ученых создавать неформальные сети, каковые будут «проталкивать» собственные звенья наверх. Само собой разумеется, такие группы имеется в науке, и без таких сетей ни один ученый ни в одной дисциплине существовать не имеет возможности (люди должны обмениваться идеями, научной литературой, спорить и т.д.). Но в тот момент, в то время, когда ответ группы определенных специалистов делается решающим, участие в таких сетях делается жизненно нужным и появляется громадный простор для злоупотреблений. Смогут показаться очередные люди, приобретающие плоды «за заслуги перед наукой», неясно как и неясно кем измеренные.

Но это не означает, что индекс цитируемости — панацея. Абсолютизировать цифры запрещено: дискуссионны сами подсчеты. «Как мы ни пробовали, мои коллеги и я не можем согласовать отечественные личные подсчеты цитируемых публикаций в самом Nature, в некоторых вторых изданиях Nature а также в Science с подсчетами, применяемыми в ISI (поисковая платформа, объединяющая реферативные базы данных публикаций в научных изданиях)», — пишет редактор Nature Филипп Кемпбелл. Другими словами цифры смогут быть инструментом, что в определенных обстановках разрешает осознать, как тот либо другой ученый действен. Необходимо помнить и том, что в научном мире понятие «репутация» сохранило собственный значение, а она создается уж точно не посредством большого индекса Хирша.

Лекция 10: Совокупность KPI (главных показателей эффективности)


Читать также:

Понравилась статья? Поделиться с друзьями: