理想的学术评价方法应该有非常强大的可操作性,具有使用方便性和开放性,当然最关键的是具有横向可比性。美国NIH2015年开始启用的相对引用率应该是符合这样的标准,而且这种方法被逐渐接受。希望能引起大家的重视。这种分析方法可能会成为将来学术评价的最流行方法,取代过去按照什么影响因子或简单计数引用次数的垃圾评估方法。
美国NIH正在使用一种比较不出名基金效益评价方法,这种评价方法是相对引用率,这个评估不考虑论文发表在什么杂志上,是用其发明的论文相对被引用次数。2015年美国NIH组合分析办公室负责设计比较不同领域学术论文水平的工具。
NIH科学家2015年开发出的相对引用率Relative Citation Ratio(RCR)的论文评价指标,方法已经在生物预印件bioRxiv网站上发表。相对引用率对论文引用进行了学科加权,因此能对来自不同学科的论文进行横向比较。不同学科论文的横向比较是文献计量学领域比较难的问题,过去人们只会进行平均值比较,很难准确快速进行不同学科之间论文影响力的比较。美国NIH开始用这种相对引用率作为评估基金资助效益的方法。国际上一些大型学术基金机构包括英国Wellcome Trust基金会和意大利的Fondazione Telethon也相继采纳这种评估方法,说明这个方法具有比较好的评估效果。
负责开发这个评估方法的George Santangelo教授对这个评估方法被广泛接受表示乐观,认为RCR是比较好的学术评估方法。
Santangelo团队设计这种评估方法首先是放弃了利用杂志影响力作为标准,过去将高影响力杂志上发表论文更高权重容易导致评估虚高,例如一个重要的学术论文发表在一个普通杂志上有可能被学术界忽视。简单计算引用次数也不能比较不同学科的论文影响力。例如大多数癌症方面的论文和数学领域的论文引用情况完全不一样。
有人提出,爱思唯尔公司也提供类似的论文横向比较策略。但Santangelo小组认为,他们的评估方法更好,关键是使用更方便。NIH已经在线公开了软件使用说明书和全部代码。Santangelo说,没有任何其他评估方法像他们的方法如此透明。
这个评估方法关键是要计算出论文的研究领域平均被引用次数,研究领域平均引用次数计算起来比较复杂。首先要区分论文所在的研究领域,该区分方法是将一篇文章的研究领域定义为共同被引用群,这个被引用论文群显然是个动态群体。这显然不是我们一般理解的研究领域,只是同类研究论文集。然后根据这个论文集群计算这个群集所发表杂志的平均被引用次数,这个平均被引用次数作为研究领域的引用背景。当然要明确一个论文的研究领域,需要等待几个月时间,有时候需要等一年。
研究小组将这种评估方法对NIH资助的研究论文进行了分析,分析论文最近发表在PLOS Bio。利用这个方法可以计算出每个研究论文的RCR值,例如RCR 1.0意味着这篇论文达到该领域所有论文平均引用次数。如果是2.0则这个论文引用次数是该领域的2倍。任何人都可以上传论文到iCite进行评估。
这个工具可以分析个人过去论文的相对影响力,也可以分析一个领域的论文相对影响力,具有非常重要的价值,关键是可以免费使用。
这里是对我过去论文进行简单分析,看来我的相对影响力也只能达到1.0左右,不突出,也不丢人。
摘自:孙学军 科学网