1定性评价方法
1.1传统同行评议法
传统同行评议的主要优势在于,同行专家能够针对论文内容,综合各方面因素,逐篇对论文质量做出综合性判断。Ware研究发现,93%的学者认为同行评议在学术论文评价中是必要的。但由于易受个人和社会因素影响,同行评议一直处于争议中。然而,由于没有更合理的替代性方法,同行评议仍是判断论文学术贡献的最佳方式。因而,对于科研人员来说,同行评议最重要的问题不是考虑是否抛弃它,而是考虑如何完善它。
1.2基于定性指标体系的同行评议法
为减少论文评价的主观性和随意性,相关学者构建了定性评价指标体系,以确保评审过程和评价结果有据可循。邱均平通过专家问卷调查和层次分析法构建了学术论文的专家定性评价指标体系。王凌峰构建了包含学术道德、研究选题价值、研究创新性等指标的论文直接评价方法,创造性地采用分级组合方式判断论文质量。尽管基于定性指标体系的同行评议法是传统同行评议方法的一大进步,理论上为评审专家提供了一定的标准,但其评价实践仍依赖于评价主体的主观判断,缺乏可操作性。
1.3定性评价存在的主要问题
首先,同行评议是一种主观判断,这种主观判断容易受专家学术视野、学术喜好、知识结构等个人因素以及人情关系、竞争关系等社会因素的影响,从而影响评价结果的客观性和公正性。其次,同行评议不仅花费大量经费,还花费专家们大量的时间和精力,但评价效率往往不尽人意。第三,同行评议没有统一的评价标准,尽管人们从不同角度构建了学术论文的定性评价标准,但目前尚没有哪一种标准被普遍接受而得到应用。
2定量评价方法
2.1基于论文被引频次和期刊影响因子的论文评价方法
论文被引频次和期刊影响因子是最常用的论文评价指标,Waltman等学者通过对论文的专家同行评议结果与被引频次之间关系的实证分析,肯定了被引频次的论文评价功能。但由于引用过程中存在大量自引、伪引、漏引、互惠引等人为动机以及正面引用、中性引用、负面引用等情感差异,被引频次评价论文一直处于争议中。Bornmann等学者发现,被引频次评价论文质量存在一定误差,一些高被引论文并非高质量论文。同时,Seglen等学者[37-38]发现,期刊影响因子值与刊载的每篇论文的被引量之间并无正相关关系。
2.2基于引文网络的论文评价方法
有学者受Google网页重要性识别算法和社会网络分析理论启发,将网络结构思想引入学术论文评价,提出了基于网络结构的引文评价方法。Su等学者[39-40]借鉴Pag-eRank算法,同时加入期刊影响因子、时间、发表机构、作者权威性、学科差异等因素,提出了单篇论文的质量评价算法。宋歌[41]将社会网络分析理论引入引文评价,指出基于引文的社会网络指标是传统引文指标的有力补充。Schubert等学者[42-43]从直接引用和间接引用角度,对不同层次上的引用赋予不同权重,构建了基于单向引文网络结构的引文评价指标。基于引文网络的评价方法一定程度上改变了简单以论文被引频次或期刊影响因子评价论文质量的实践,但该方法主要适用于高被引论文的评价。
2.3基于社会影响力的论文评价方法
Born-mann等学者[44-45]分别从理论和实证层面探讨了Alt-metrics的论文评价功能,实证研究主要侧重于Altmet-rics与传统文献计量学指标、同行评议结果之间的相关性分析,研究发现Altmetrics的确反映了论文的不同种影响力,是传统引文评价指标的有力补充。但任何评价指标都绝非完美,Altmetrics同样有其自身无法克服的局限性,如数据有效性、一致性和准确性难以验证。另外,Altmetrics主要反映的是关注度和流行度,而非影响力。
2.4定量评价方法存在的主要问题
第一,不针对内容,基于表面,易人为操纵。首先,文献计量学方法主要根据学术论文的外在特征对其进行评价,无法从内容揭示被引文献对施引文献的价值。其次,外在的文献计量学指标容易被人为操纵,有时仅仅是一种表面现象。第二,将相关关系视为因果关系。当前评价实践中,人们普遍接受“论文被引频次越高,其质量越好;期刊影响因子越高,发表的论文质量越好冶,将论文被引频次、期刊影响因子等与论文质量之间的相关关系直接等价于因果关系。第三,忽视引文差异,将被引频次等效处理。由于施引文献质量差异、施引作者引用动机和情感差异、被引文献对施引文献作用差异,每一次的引用实际上是不等效的,仅通过被引频次无法揭示论文对施引文献的真实价值。因此,简单使用被引频次等效评价论文影响力,明显不够科学和准确。第四,以刊评文,忽略个体差异。期刊发表的论文被引频次往往呈非正态分布,即影响因子通常由少数高被引论文贡献,以整个期刊的平均值来衡量个体论文质量明显不恰当。第五,各种修正指标仍依赖于被引频次和期刊影响因子。一方面,陷入被引频次评价论文质量的循环怪圈;另一方面,新指标大多计算复杂,难以推广。