科学计量学家Henk Moed关于科研评价的新论文

武夷山

 

    普赖斯奖得主、荷兰著名科学计量学家Henk F. Moed（他退休后又受聘于意大利的一家大学）教授2020年1月在网络期刊Scholarly Assessment Reports（学术评价报告）发表文章，

Appropriate Use of Metrics in Research Assessment of Autonomous Academic Institutions（自治学术机构在科研评价中如何适当利用测度指标）。原文见https://www.scholarlyassessmentreports.org/articles/10.29024/sar.8/。

    本文含有多个表格，简明扼要地概括了一些学术评价应关注的关键问题。表5是案头评估模型之基本假定与替代评价方式的对比。

 

表5 案头评估模型之基本假定与替代评价方式的对比

评价的侧面

 

案头评估模型之基本假定

 

替代评价方式

 

数据可获取性

 

应采用广泛可获取的指标   (论文量、期刊影响因子、h指数等)

 

应使用适合应用情境的定制指标。

 

有效性

 

指标能够很好地测度它们设计来测度的东西；不需要来自其他信息源的验证。

 

 

指标应与专家知识结合起来；指标所测度的是业绩的前提条件而不是业绩本身。

 

评价意义

 

指标所测度的诸侧面就构成了合适的评价标准。

 

 

需要一个独立的评价框架

 

 

评价单位

 

评价研究人员个体。

 

 

不要将科研人员与其机构环境截然分开：应专注于对科研团队的评价。

 

 

排序原理

 

得分越高，业绩越好。

 

采用指标来确定低限业绩标准，而不是识别谁名列榜首。

 

政策决策准则

 

总体业绩最佳者获得最多的支持。

 

根据新崛起的科研群体的数量来给相关机构拨付经费。

 

 

    本文提出的评价模型，大家可看原文。在本文“应用情境与应用条件”一节，作者写道（大意）：

    不同国家的学术研究资助模式有很大差异。美国的科研资助往往是分散式的，基于个体研究者之间的竞争；而欧洲大陆国家的主导资助模式是国家将一揽子经费拨给学术机构。本文提出的模型更适合于后者，不过，模型的某些要素对于美国可能也有用。实施该模型的关键挑战，是资助者和学术研究共同体之间要建立相互信任的关系。若双方缺乏基本的相互信任，本文建议的模型是不会起作用的。但该模型若付诸实施，则有增进双方互信之效。

    本博主在发表于2015年1月16日《光明日报》的文章“科研评价指标纵横谈”（）中写道：

   “提倡参与式的评价指标制定过程。如果管理者在制定评价指标时可以任意恣行，而被评价者只有俯首帖耳的份儿，那么，管理者欲达到的目标就很难达到，只能是南辕北辙的效果。无论是评价考核的频次、评价指标的选择、指标权重的设定等，都可以而且应该听取评价对象的意见。另外，应当将评价考核工作与职业生涯咨询结合起来。这样的话，评价指标就可能成为推动人才成长的利器，而不是千夫所指的靶子”。

    我的上述观点，与Moed教授所说的资助者和学术共同体之间的互相信任关系有相通之处。不然，若评价者与评价对象双方对立起来，那么，不管你用什么指标评价我，我总能对付你。无论在什么领域，都是如此。