JCR新增评价指标在期刊评价的应用

JCR新增评价指标在期刊评价的应用

1引言

期刊引证报告(JournalofCitationReport,以下简称JCR)作为国际上评价学术期刊的权威工具,从出版至今一直被全球高等院校和科研机构作为评价期刊的重要依据。其早期的代表性评价指标——“影响因子”被一些知名学术期刊作为期刊荣誉标注在期刊主页的显著位置,如SAGE集团出版的期刊,在每种期刊页面的醒目位置都标注了期刊的影响因子数据。2009年,JCR增加了“5年影响因子”,并引入Eigenfactor项目组开发的从2007年起启用的“特征因子分值”和“论文影响力分值”作为其评价指标[1]。2015年,JCR又增加了“标准特征因子”和“平均期刊影响因子百分位”这两项指标[2]。JCR近两次新增的5项评价指标,对于期刊评价具有重要的应用价值。5年影响因子在原有影响因子计量方式的基础上将期刊的计量周期延长至5年,避免了原有影响因子计量周期过短而带来的期刊指标的不稳定性;特征因子分值和论文影响力分值采用新的计量方式、以5年为统计周期并扣除自引计量而得,开启了对不同施引期刊赋予不同权值、对学术期刊结合引文数量与质量进行综合评价的新时期;标准特征因子和平均期刊影响因子百分位分别是对期刊的特征因子标准化和影响因子百分位化后得到的水平指标和位置指标,具有非参数性质,这两项指标的重要意义在于将以往的具体指标值进行标准化或百分位化,避免了以往不同学科性质带来的期刊影响因子或特征因子等指标值差异过大、无法进行跨学科期刊对比的缺点,并且使得同一学科内的期刊评价对比更加直观。目前,对JCR新增评价指标的研究,有任胜利、俞立平、盛丽娜、顾欢等一批学者[2-13]对特征因子在期刊评价中的应用进行了实证分析,并对标准特征因子、影响因子百分位(实为平均期刊影响因子百分位)在期刊评价中的表现和应用进行了研究。国外学者Jacsó[1]以JCR图书馆学信息学期刊为例,探讨了特征因子分值和论文影响分值指标与5年影响因子的相关性;Wagner[14]探讨了期刊影响因子百分位在跨学科期刊评价中的意义。在国际旅游学术期刊评价方面,国外的研究主要有:Ryan[15]基于2002年10月至2003年12月旅游、休闲与接待业期刊的点击情况对期刊进行了排名;Sansrosell等[16]对2007~2010年间JCR收录的34种Hospitality,Leisure,Sport&Tourism期刊影响因子的当前趋势、总体排名和时间稳定性进行了研究;Gursoy[17]采用同行评议的方法,分别对旅游学期刊和接待业期刊进行了排序。国内主要有邓金阳、罗艳菊[18]使用标准差法,根据麦克乔所做的对期刊的综合重要评分值结果,将国际性英文旅游学术期刊分为4个等级;宋志红、王小琼[19]根据我国学者的引用情况,将国际性旅游学术期刊在我国的影响力由强到弱分为5个等级。从上述研究内容看,目前尚未有就JCR新增的综合代表性评价指标应用于期刊评价方面的研究,也没有采用JCR新增的客观评价指标应用于国际旅游学科期刊评价的研究。本文在论证的基础之上,选择JCR评价指标中最具有代表性的3项新增评价指标——标准特征因子(NEF)、论文影响力分值(AIS)和平均期刊影响因子百分位(AJIFP),以JCR收录的旅游学科期刊为例,分析该学科期刊对应的3项评价指标的特点及排序,进而对旅游学科期刊进行综合排序评价。

2JCR代表性评价指标的选择

JCR评价指标采用不同的分类标准可以分为不同的种类,按评价指标的计算原理和功能,大致可分为以下几类:(1)总量指标:总被引频次和特征因子分值;(2)相对量指标:影响因子类指标(包括影响因子、他引影响因子、5年影响因子和即年指标)与论文影响力分值;(3)水平指标:标准特征因子;(4)位置指标:平均期刊影响因子百分位;(5)时间性指标:被引半衰期、引用半衰期;(6)中性指标:载文量和可引用文献论文百分比。在新增评价指标中,笔者在综合考虑期刊整体影响力和由篇均文献水平体现出的期刊影响力的基础上,选择标准特征因子、论文影响分值和平均期刊影响因子百分位三项具有代表性的指标,具体选择理由如下:第一,标准特征因子(NEF)。标准特征因子是将特征因子分值的标准化。特征因子分值是在总被引频次仅考虑期刊被引数量的基础上,赋予施引期刊不同权值、综合考虑期刊被引的数量及施引期刊的权值而计量出来的评价指标,两者的指标值都体现了期刊的整体影响力,但特征因子算法更为科学。而标准特征因子由特征因子分值指标引申而来,具体算法为将期刊的特征因子分值除以期刊所在学科期刊特征因子分值平均数得到的比值,如果该比值大于1,则说明该期刊优于学科期刊平均水平,反之亦然。标准特征因子不会改变期刊在所在学科期刊群中的排序,即在学科内,期刊的特征因子和标准特征因子排序一致,但后者克服了不同学科间期刊特征因子分值存在差异而带来的跨学科期刊比较的弊端,最终以较好的显示度实现了同学科和跨学科期刊之间的比较[3]。第二,论文影响力分值(AIS)。论文影响力分值也是在特征因子分值基础上计算而得,具体算法为将期刊的特征因子分值除以期刊所的标准化比值(所有期刊的论文总数为1)[2]。从计算原理可以看出,论文影响力分值与影响因子、他引影响因子、5年影响因子和即年指标一样,均是从篇均文献指标值的角度来评价期刊的重要性,但前者既改进了算法:由综合考虑期刊被引数量和施引期刊权重的特征因子分值计算而得,又改进了计量周期和计量方式:以对期刊评价较为稳定科学的5年为计量周期、并排除期刊自引带来的影响。从以上计算原理可知,论文影响分值是目前JCR评价指标中对由期刊刊载论文体现出的期刊质量评价的最有代表性的指标,其地位和作用应该相当于传统评价指标中影响因子的地位和作用,并且在未来的期刊评价中将会发挥日益重要的作用。同时,这个指标体现的是具体分值,这种分值在不同的学科期刊之间差异会很大,比如医学期刊的论文影响分值明显高于其他学科期刊,所以,论文影响分值仅适用于同学科内期刊之间的比较。第三,平均期刊影响因子百分位(AJIFP)。根据科睿唯安JCR快速使用指南的定义,期刊影响因子百分位(JIFP)是根据期刊在学科内的影响因子排序计算而来(JIFP=((N-R+0.5)/N)*100%,N为学科期刊数量、R为学科内某一期刊的论文影响分值降序排位[20])。由于很多期刊在进行学科归类时,会归属于不止一个学科,在所归属的每个学科中,都会有一个期刊影响因子百分位,所以JCR将期刊在不同学科中的JIFP进行平均,得到平均期刊影响因子百分位AJIFP[20]。将影响因子转化为百分位不会改变期刊在同一学科中的排序,即降序排列的影响因子的排序和影响因子百分位值排序是完全一致的;与影响因子相比,影响因子百分位在跨学科期刊比较中更为直观。通过平均期刊影响因子百分位,可以对不同学科之间的期刊进行跨学科比较。

3JCR代表性评价指标在旅游学科期刊评价中的应用

旅游学是应用经济学的一个分支学科,同时与地理、历史、环境等多个学科有较强的关联性。随着人类物质文明的提高,旅游产业发展迅速,相应地,研究旅游现象的旅游学科也得到了长足发展。国际旅游学术期刊作为旅游学科研究的重要展示平台,其评价日益成为业界学者关注的一个课题。同时,旅游学科是笔者所在高校重点建设的特色学科,为了给该学科领域学者了解国际旅游学术期刊评价及发展提供参考,笔者对该学科涵盖的国际学术期刊评价一直跟踪研究,前期已有相关研究成果。本文数据来源于JCR最新的统计年2016年Hospitality,Leisure,Sport&Tourism分区,人工去除不相关期刊后,得到23种包括旅游、休闲及接待业的广义上的旅游学科期刊数据。

3.1标准特征因子

从表1中旅游学期刊标准特征因子值数据,可以看出旅游学科期刊具有以下几个特点:第一,整体影响力大的期刊极少。JCR收录的23种旅游学期刊,仅有TOURMANAGE一种期刊的NEF值大于均值1(注:同学科领域的NEF均值均为1)、在所属学科中影响力优于平均水平,占比仅4%。其余22种期刊均不及平均水平,大部分期刊标准特征因子分值很低,影响力在从属学科中处于低水平。第二,期刊之间影响力差距大。排名第1位的TOURMANAGE,NEF值是排序第2位的ANNTOURISMRES的近2倍;表2中标准特征因子的中位数极大值比和极小极大值比分别为0.1011和0.0172,全局分布较为分散。第三,影响力低的期刊集中。NEF值低于0.1的期刊有8种、占比35%,低于0.2的期刊有16种、占比70%,可见,旅游学科期刊的整体影响力大大偏离所在学科的平均水平。

3.2论文影响力分值

从指标值看,表1中的数据体现了相邻排位的旅游学科期刊之间论文影响分值差距不大,极小极大值比和中位数极大值比分别为标准特征因子对应比值的6倍和4.3倍,可见,在旅游学科期刊的论文影响力分值分布相对比较均匀。从排位顺序看,各种期刊的排位与标准特征因子的排位,除1种期刊没有变化外,其余期刊的排位顺序都有不同程度的位次差,其中位次差最大的是TOURISMECON,这种期刊在标准特征因子值排序为第12位,正好处在学科的中间水平,但在论文影响力分值中的排序则处于靠近末端的位置。可见,在JCR旅游学科期刊中,从期刊的总量指标或总量指标衍生的水平指标体现的期刊整体影响力和从篇均文献水平体现出的期刊重要性之间存在着一定的差距。

3.3平均期刊影响因子百分位

JCR根据期刊载文的学科属性,将不同的期刊归属到不同的学科,但这些期刊都同时归属于Hospitality,Leisure,Sport&Tourism和Management学科,只是每种期刊归属于其他的学科时不一致。比如TourismManagement,归属于EnvironmentalStudies、Hospitality,Leisure,Sport&Tourism和Management三个学科,2016年这种期刊在三个学科中的JIFP分别为96.667%、98.889%、92.526%,其AJIFP则为三个值的平均数96.027%。就旅游学科来看,大多数相邻期刊的平均期刊影响因子百分位差距在10%以内,但排在学科末尾2位的JTOURCULTCHANGE和JHOSPLEISSPORTTOUREDU,与上一相邻期刊的平均期刊影响因子百分位相关分别达到15.665和13.877。从表2中的统计学数据看,平均期刊影响因子百分位的中位数极大值比较标准特征因子和论文影响力分值对应的比值高,说明在这个指标中处于中等水平以上的期刊分布相对集中;而极小极大值比只略高于标准特征因子对比的比值,与论文影响力分值对应的比值相差约2.6倍,在这个指标中处于中等水平以下的期刊分布较为分散。

3.4JCR旅游学科期刊综合评价

标准特征因子、论文影响分值和平均期刊影响因子百分位尽管具体指标值表现有差异,但是在同一学科内均可体现期刊的排名,三者分别代表了期刊的整体影响力、期刊论文的影响力和期刊在学科内所处位置的平均水平。考虑上述三个指标在JCR期刊评价指标体系中的代表性,本文对三项评价指标赋予相同的权重,对旅游学科期刊按每项指标的排序计算出综合排序值,按综合排序值再对旅游学科期刊进行排序,各种期刊的分项排名和综合排名如表1所示。

4结论

在JCR目前提供的评价指标中,采用在综合考虑期刊被引数据和施引期刊权重的基础上计算出的标准特征因子(NEF)和论文影响力分值(AIS)、将影响因子百分位化并平均化后得到的平均期刊影响因子百分位(AJIFP)最具有代表性,分别代表了期刊的整体影响力水平、期刊刊载文章质量水平和期刊在所属学科内所处的平均位置水平。通过对2016年度旅游学科期刊的综合排名,可以看出旅游学科期刊大致可以分为几个区间。第一区间是排在前4位的期刊,这4种期刊一直是近年旅游学术期刊评价[16-17]中综合评价最好的4种期刊:期刊整体影响力高、刊载的文章质量也居于学科前列。第二区间为综合排名第5~10位的6种期刊,是创刊相对较早、在旅游学科中的次优质期刊,尤其是其中有3种期刊是接待业这一子学科中综合评价居前列的期刊。第三区间是综合排名在第11~17位之间的7种期刊,3项指标的排名均不突出,属于影响力中等和中等偏下水平的期刊。综合排名位于第18~21位的4种期刊,有3种期刊属于综合了旅游与休闲、接待、文化等子学科或交叉的期刊,受刊载范畴的影响,这些期刊在泛指的旅游学科中影响力弱。除了大致的区间划分外,本文通过3项评价指标对JCR收录的旅游学科期刊的综合评价还有以下几点值得注意:第一,与2005年Sans-Rosell等[16]和Gursoy[17]对旅游学科期刊排序中ANNTOURISMRES优于TOURISMMANAGE不同,本文的研究结果显示TOURISMMANAGE的综合影响力已超过ANNTOURISMRES,居于首位。第二,TAYLOR的JSUSTAINTOUR自1993年创刊后发展较快,十年左右的时间就在国际旅游学术期刊的排名中上升到第4,并且近十年来在一直移居第4位,综合质量优于很多创刊时间大大早于该刊的期刊。第三,由ELSEVIER2012年创刊的JDESTINMARKMANAGE,创刊即被JCR收录,并且综合排名排在很多创刊已外的旅游学科期刊之前,是旅游学术期刊中有很大发展潜力的期刊。