期刊多属性评价方法选择

期刊多属性评价方法选择

1引言

学术期刊评价的复杂性决定了采用单一性量化指标是不够全面的,采用多属性评价方法具有明显的优势。认为评价期刊影响力和重要性有两个关键的一级指标:知名度和信誉度,前者由期刊影响力指标来反映,后者由特征因子类指标来体现。D.Shotton提出期刊评价的5个标准:内容丰富化程度、数据集、开放获取、计算机可读元数据、同行评议。N.Sombatsompop等提出了通过文章影响因子、位置影响因子、期刊影响影子等多个指标进行评价,特别指出文章引用位置不同权重也应该不同。苏新宁根据科学性、合理性和可获得性等原则选取了20个指标,对人文社科3000多种学术期刊进行多属性评价。此外,国内还有大量学者采用多属性评价方法进行学术期刊评价,涌现出不少成果。从实践应用的角度,北京大学图书馆、中国科学技术信息研究所、南京大学中国社会科学评价研究中心、武汉大学中国科学评价研究中心、中国社会科学院中国社会科学评价中心等机构均采用多属性评价方法对学术期刊进行评价。多属性评价方法众多,评价方法有几十种,如果算上对某种方法的优化和改良,评价方法就有数百种甚至更多,许多多属性评价方法已经在学术期刊评价中得到了广泛的应用。陈国福、王亮采用主成分和集对分析选取16个指标对学术期刊进行评价。刘莲花采用主成分聚类分析法对17种数学中文核心期刊进行综合评价。吴美琴、李常洪[7]采用DEA分析方法评价图书馆、情报与档案学期刊的引证效率。王金萍、杨连生等采用层次分析法与熵权法对科技期刊编辑能力进行评价。吴涛、杨筠等采用因子分析对Scopus数据库中的1881种医学类期刊进行评价。王映采用加权TOPSIS和秩和比法评价体育学术期刊。郭雪梅、李沂基于DEA博弈交叉效率评价图书情报类期刊。刘军、王筠采用灰色关联分析对高校图书馆订购期刊质量进行评价。由于多属性评价方法发展较快,新的评价方法和技术将继续在学术期刊评价中得到广泛应用。不同多属性评价方法评价结果不一致是学术期刊评价的重要问题。各种评价方法均有自己的优点和理论逻辑,一些评价方法也提供了自身的检验方法(比如层次分析法的排序一致性检验),但是方法的好坏甄别并没有绝对标准,单纯从评价方法的评价机理选择评价方法是非常困难的。一些学者在多属性评价方法的选取中取得了一些进展,苏为华认为可以从评价方法的区分度、灵敏度等角度进行选取。陈述云、张崇甫提出根据不同多属性评价方法结果得分的相关系数大小来进行选择。韩轶、唐小我给出了采用斯皮尔曼等级相关系数进行多属性评价方法的选择思路。俞立平、宋夏云提出采用偏最小二乘法对评价结果与评价指标进行回归,如果正向指标回归系数出现负数,就应该淘汰该评价方法。还有一种解决思路是将数种多属性评价方法的评价结果进行组合评价。A.J.Gregory、J.W.Lee等在该领域做了大量有益的尝试。熊国经、熊玲玲等运用熵值法、因子分析法和TOPSIS法对学术期刊进行学术影响力评价,然后采用模糊Borda法进行组合评价。王一华应用拉开档次的组合评价法,在计算排序结果两两之间的Spearman相关系数的基础上,对学术期刊进行组合评价。俞立平、潘云涛等提出首先选用各种可行的多属性评价方法进行评价,然后将评价结果标准化,将同一期刊不同评价结果的极大值作为该期刊的最终评价结果。王居平提出了一种基于离差最大化的学术期刊组合评价方法。徐建中、王纯旭采用粒子群算法对集对分析、因子分析和主成分投影法进行组合,实现对产业技术创新生态系统运行稳定性评价。李美娟、陈国宏等]在利用组合评价研究区域技术创新能力时,发现经过若干次组合,几种组合评价结论能趋于一致(收敛)。多属性评价方法众多导致评价结果多样性的解决方法有两种思路:第一种思路是从单一方法优选角度进行甄别,存在的问题是目前优选的方法不多,但是一旦取得突破,可以筛掉一些不太合适的评价方法,从而取得较好的评价效果。第二种解决思路是将重点放在组合评价上,存在的问题是组合评价方法也有10多种,常用的是算术平均组合、Borda组合和Copeland组合,这样组合评价结果同样不唯一。需要反复进行多次组合,结果可能会收敛,但这仅仅是经验总结,难以进行严格的数学证明。何况这种做法比较繁琐,大大增加了评价的工作量。单一评价方法是组合评价的基础,如果能够有效地筛掉一些不合适的评价方法,可以大大降低组合评价的工作量,甚至在某些情况下,根本就不需要进行组合评价,因为只剩下一种评价方法了。在多属性评价方法众多、组合评价方法众多,而多属性评价方法筛选方法较少的情况下,从单一评价方法筛选的角度入手,加强相关领域的研究,不仅可以丰富学术期刊多属性评价理论,而且有利于评价方法的优选,从而降低评价成本,提高评价方法的公信力,具有十分重要的理论和实践意义。本文利用聚类分析的原理,提出一种基于聚类分析的多属性评价方法筛选方法,并以JCR2015数学期刊评价为例,选取加权线性汇总、TOPSIS评价、VIKOR评价、主成分分析、调和平均5种方法进行评价,说明该方法的原理及评价方法筛选过程,从而为学术期刊多属性评价方法众多难以选择寻找一条解决路径。

2基于聚类分析的多属性评价方法筛选原理

2.1聚类分析简介

分类是人类认识客观世界的基础。传统意义上往往根据人类的经验来进行分类,随着客观世界越来越复杂,有时依靠人工分类也难以做到。比如在学术期刊评价中,即年指标既代表了期刊的影响力,也代表了期刊的时效性,究竟是侧重哪个方面人工很难判断。至于对学术期刊进行分类,由于评价指标较多、数据量较大、期刊种类多,依靠人工分类更加困难。聚类分析是根据分类对象之间的相关程度分类,在聚类之前,类别是隐蔽的,事先并不知道分类数量。聚类分析的思想是同一类中的个体相似性较大,不同类中的个体差异较大。比如对于某个学科的学术期刊,采用若干评价指标进行评价,影响力较大、质量较高的期刊显然属于一类,影响力中等、质量中等的期刊可以归为第二类,影响力较低、质量一般的期刊归为第三类。具体聚类过程是,开始时每种期刊均自成一类,通过一定的算法计算期刊之间的相似性,把其中最相似的两种期刊合并为一类,这样分类总数减少一个;再继续进行聚类,计算类与类的相似性,再选择其中最相似的两类进行合并,……,一直到所有的期刊被归为一大类。聚类方法包括组间连接法、组内连接法、最短距离法、最长距离法、重心法、中位数法等,常用的有组间连接法。

2.2聚类结果一致度筛选法原理

采用聚类方法筛选多属性评价方法是基于这么一个原则:在多属性评价前后进行两次聚类分析,两次聚类结果一致性最高的多属性评价方法为优,该方法也称为聚类结果一致度筛选法。在期刊评价之前进行的聚类是针对原始评价指标而言的,没有采取任何多属性评价方法进行处理,此时进行的聚类是最本源的,也是最可靠的聚类。在进行多属性评价时,不管采用什么多属性评价方法,一个首要前提是尽量不能破坏原始数据的分类,或者说,对原始数据分类破坏最少的多属性评价方法才是较好的评价方法。如果一个期刊在原始数据中被归为优秀期刊,但是评价以后却变成了中等期刊,少数情况下出现这种现象是可以理解的,比如对于优秀期刊中排名相对靠后的期刊。但是如果有太多这种情况出现,评价后有较多的优秀期刊变成一般期刊,或者有较多的一般期刊变成优秀期刊,说明一定是评价方法出了某种问题,充分说明评价方法选取不当。聚类种类多少取决于期刊数量多少。当评价期刊较多时,比如300种左右,可以分为3-4类;当评价期刊较少时,比如小学科只有20几种期刊,可以分为两类。聚类结果一致度筛选法的步骤如下:第一步,确定评价对象,根据评价对象的数量确定聚类的种类;第二步,对原始指标采用K?MEANS聚类进行分类,输入聚类种类数量,正常情况是2-4种,得到每种期刊的分类属性集X;第三步,采用可行的n种多属性评价方法进行评价,得到n种评价结果集Y;第四步,对每种多属性评价方法的评价结果进行聚类,得到n种不同的聚类结果集Z;第五步,计算每种聚类结果Z与原始聚类结果X的一致度,选取一致度最高的多属性评价方法。第六步:以聚类结果一致度最高的多属性评价方法的评价结果作为学术期刊评价的最终结果。

3评价方法与数据

3.1评价方法

为了说明多属性评价方法选取的应用,本文同时采用加权线性汇总、TOPSIS、VIKOR、主成分分析、调和平均5种评价方法进行评价,然后采用聚类分析对评价方法进行选择。(1)加权线性汇总。加权线性汇总是最传统的评价方法,其原理是将原始评价指标标准化以后,采用主观或客观评价方法赋予权重,然后再进行加权汇总。(2)TOPSIS评价。TOPSIS是C.L.Huang等[25]提出的一种评价和决策方法,也称为理想解法,根据评价对象到理想解与负理想解的相对距离来进行评价,理想解是最好的评价值,负理想解是最差的评价值,距离理想解越近、负理想解越远的方案为最优。(3)VIKOR评价。VIKOR评价方法是S.Opricov?ic提出的,其最大优点是充分考虑最大化的“群体效益”和最小化的“反对意见的个体遗憾”。(4)主成分分析。主成分分析是相对成熟的评价方法,X1,X2,…,Xp为标准化后的评价指标,n为评价对象数,p为评价指标数。

3.2评价数据

本文以JCR2015数学期刊为例,数学学科是期刊数量最多的学科之一,以该学科为例加以说明具有较好的代表性。共有11个评价指标,分别是:总被引频次、影响因子、他引影响因子、5年影响因子、平均影响因子百分位、特征因子、标准化特征因子、论文影响分值;被引半衰期、引用半衰期、即年指标。相对于国内相关引文数据库而言,JCR引文数据库影响更为广泛,而且公布的评价指标特点鲜明。JCR2015数学期刊共312种,由于部分期刊办刊历史较短,有些评价指标数据缺失,比如特征因子、5年影响因子计算需要5年以上数据,此外还有部分期刊数据缺失,因此删除了数据不全的期刊,剩余275种期刊。所有评价指标数据进行了标准化处理,被引半衰期和引用半衰期是两个反向指标,也进行了正向化。

4实证结果

4.1聚类分析

首先采用K?MEANS聚类分析对原始11个评价指标进行聚类,距离计算方法采用组内连接法,即保证每一类中各期刊之间的距离最近、相似度最高。由于评价期刊较多,有275种,因此分为3类,经过聚类后,原始指标分类总体情况为,第一类33种,第二类173种,第三类69种。

4.2期刊评价及结果聚类

采用加权线性汇总、TOPSIS、VIKOR、主成分分析、调和平均对期刊进行评价,得到评价结果,需要说明的是,作为一个算例,本文设定所有指标的权重相等,也就是说在加权线性汇总、TOPSIS、调和平均时不设置权重。然后分别对每种评价方法的评价结果进行聚类分析。参照原始数据分类,优秀期刊33种,良好期刊173种,一般期刊69种,基本符合中间大、两头小的规律。VIKOR评价中优秀期刊只有2种,良好期刊40种,一般期刊最多,为233种,可以初步淘汰。主成分分析评价结果中,优秀期刊只有9种,良好期刊76种,一般期刊数量最多,为190种,也可以初步淘汰。需要说明的是,将所有评价方法分别按分数高低排序,每种评价方法的分类排序是1、2、3,和原始数据分类排序完全相同。比如TOPSIS评价结果从高到低排序后,其对应的分类排序也是1、2、3,并且与原始指标的分类排序也完全一致,并没有出现排序错位的情况,说明各种评价方法评价结果与原始数据分类评价结果是严格对应的,也就是说,对原始数据的聚类本身就体现了期刊评价,分类越低的期刊越优秀。

4.3计算聚类一致度

将每种评价方法聚类分类结果与原始数据聚类分析结果进行比较,看两者是否属于同一类,在此基础上计算一致度,结果如表3所示。调和平均聚类分析结果与原始数据聚类分析结果一致的期刊共有141种,其次是TOPSIS评价,有96种结果一致,第三是加权线性汇总,有65种,而VIKOR评价一致的只有60种,主成分分析结果一致的只有58种,因此这5种评价方法中,应该选调和平均进行评价。

4.4稳健性检验

为了研究聚类种类设置对评价方法选取有没有影响,将聚类种类设置为4类,重新进行聚类一致度检验。首先进行聚类分析,按照4种分类进行聚类。原始数据共分为4类,第一类17种,第二类70种,第三类174种,第四类14种,这也符合期刊评价预期。在这些分类种,VIKOR评价第一类期刊106种,第二类只有4种,明显不符合实际,属于优先淘汰的评价方法。继续计算聚类结果一致度,从各种评价方法聚类结果与原始数据聚类结果一致的期刊数量看,调和平均最高,为142种,其次是TOPSIS,为97种,再次是线性加权汇总,为66种,第四是VIKOR评价,为60种,最后为主成分分析,为59种。需要注意的是,在4种分类的情况下,聚类结果一致的评价方法排序与3种分类完全一致,说明聚类数量总体上不会影响评价方法选择。

4.5调和平均评价结果

最终采用聚类结果一致度最高的调和平均来进行评价,结果如表6所示,由于篇幅所限,本文仅公布排在前30的数学期刊。在分类数量为3种的情况下,调和平均排序前30种期刊种,只有1种期刊聚类结果与原始评价指标聚类结果不一致。

5结论与讨论

本文根据聚类分析的原理,提出了一种基于原始数据聚类与评价结果聚类进行比较,从而根据分类结果一致度的大小来进行多属性评价方法选取的方法,从而为学术期刊评价中多属性评价方法众多,难以进行评价方法的选取提供了一种解决思路。实证研究表明,聚类数量设置对该方法的结果影响较小,说明根据聚类结果一致度进行评价方法选取具有较好的稳健性,该方法具有一定的通用性,可以进一步开展相关研究。聚类分析虽然立足于分类,但本质上也属于一种粗粒度的评价。因为在分类时好的期刊之间相似度高,自然归为一类;一般化的期刊之间相似度也高,也会归为一类。类别本身也说明了期刊的优劣,各种多属性评价方法在评价时由于原理不同,必然对期刊原始数据包含的分类性质做了一定的改变,但是这种改变不宜太大,该原则可以上升为评价公理,从而用于多属性评价方法筛选。