对期刊的学术影响力进行评价，提供公正、科学的评价结果，有助于科研人员、科研机构客观地了解期刊学术影响力情况，在论文投稿、学术评价过程中做出合理的决策，是科技评价中的一项重要内容[1]。现有的期刊学术影响力的评价方法主要包括定性评价与定量评价。定性评价方法主要是依据领域专家的意见进行评判，但会出现专家意见不统一、评价过程费时费力等问题[2]。定量评价方法主要依据期刊的被引用情况来进行评估，因其具有客观、高效等特点，在科技评价实践中经常被使用，但也存在评价维度单一、特征把握不准的问题[3][4]。对于科研机构来说，人员招聘和岗位晋升都会参考相应的期刊评价结果。通常，一个科研机构参考的期刊评价结果主要来源于三个部分：一是参考主要学术期刊数据出版商提供的期刊评价结果，如科睿唯安公司基于论文影响因子等量化指标得到的期刊分区结果[5]、爱思唯尔公司在期刊引用分（CiteScore）基础上给出的评价结果[6]；二是参考行业学会的期刊评价列表，如管理学领域常用的ABS期刊列表[7][8]、ABDC期刊列表[9]给出的期刊等级；三是科研机构自身在专家判断和定量分析基础上，自行研制的部门期刊列表（DepartmentalJournalLists）[10]。现有的期刊评价体系中，学者和政策制定者一直在批评我国期刊评价实践过于依赖影响因子等国外引文指标，缺少具有中国特色的期刊评价指标[11]。对于国际行业学会的期刊评价列表，虽然具有较好的代表性，但也存在没有收录中文期刊和高估部分本国期刊质量等问题。而科研机构自身设置的部门期刊列表评价方式，因为能综合考虑外部定量定性评价结果，又能根据科研机构学科范畴、发展定位以及其学术水平进行调整，近年来在科研机构学术评价中的使用越来越广泛。由于期刊评价结果对于科研机构学术评价有着很强的导向作用，采用部门期刊列表可能会面临评价结果认可度不高和学科公平性问题。通常来说，部门期刊列表是科研机构依据自身学科发展特色，结合外部定量定性评价结果进行设置的，列表中会出现一些非本学科领域的期刊，如经济管理学院制定的部门期刊列表会有环境科学或数学领域的期刊。这种非本学科领域期刊范畴选择和等级设置问题如果不能适当处理，会使得部门期刊列表认可度不高。此外，部门期刊列表通常会涉及多个子学科，不同子学科的期刊权衡是个难点，可能会带来学科偏差，涉及部门期刊列表的学科公平性问题。如制定部门期刊列表的决策人员来自于本机构强势学科，使得期刊列表的评价结果偏向于强势学科。本文以部门期刊列表评价结果的认可度及公平性问题为研究对象，研究不同科研机构制定的部门期刊列表的认可度，即单个部门期刊列表的评价结果和真实期刊评价结果之间有多大差异。分析不同学科偏向的科研机构在制定本机构部门期刊列表时是否产生相应的学科偏差，即研究部门期刊列表的公平性问题。
一、基于WAP方法的部门期刊列表结果综合集成
本文研究的第一个问题是部门期刊列表评价结果的认可度如何，即单个部门期刊列表的评价结果和真实期刊评价结果之间的一致性关系。由于真实期刊评价结果很难确定，不管是定量指标得到的结果，还是专家判断得到的结果，很难将其界定为真实期刊评价结果。考虑到部门期刊列表制定过程中，已经综合考虑了定量指标和定性专家意见，所以本文将多个代表性科研机构的部门期刊列表综合集成结果定义为真实期刊评价结果[16]。一方面是当收集的科研机构具有一定数量且具有代表性后，其部门期刊评价结果的集成基本上已经反映了领域内主要科研人员对期刊评价结果的共识；另一方面是假设单个科研机构在评价期刊时候赋予的偏差，在综合集成过程中相互抵消，进而不会影响最终的集成评价结果。通常来说，单个科研机构在制定部门期刊列表时，是将期刊赋予不同的等级进而对期刊进行评价的，最为常见的是将期刊分成一等、二等、三等或者A、B、C等若干等级，每个等级中包含一定数量的期刊。不同于期刊影响因子等量化指标，不同科研机构制定的期刊等级之间难以横向比较，更不能进行运算，这种按等级划分的期刊评价模式给期刊列表的综合集成带来了困难。针对该问题，TempletonGaryF.和LewisBruceR.发表在MISQuarterly上的论文，提出了一种加权平均百分比（WeightedAveragePercentile，简称WAP）的方法，来集成这种不同等级划分的期刊评价结果[12]。WAP方法的基本思路是将部门期刊列表中的不同期刊等级，转化为相对应的占位百分比，这种反映期刊相对评价结果的占位百分比就可以进行综合集成[17]。单个部门期刊列表中的某一个期刊的占位百分比通过公式1计算得到。
二、基于经济管理领域的实证分析
本文选择国内经济学与管理学两个学科进行实证分析，一方面是因为国内的学科设置关系，有较多高校将这两个学科设置在同一个学院中，如经济管理学院或者商学院[18][19]。学院在制定部门期刊列表时需要协调和统筹两个学科，有助于分析部门期刊列表中两个学科的学科偏好问题。另一方面是因为这两个学科在国内高校中体量较大，设置的高校多，具有一定的代表性。选择全国第四轮学科评估结果中，经济学和管理学下属的8个一级学科（理论经济学、应用经济学、管理科学与工程、工商管理、农林经济管理、公共管理、图书情报档案）中，任一学科评估结果达到B+以上（排序为前20%）的高校，共计72所。进一步调查这些样本高校，选择经济学和管理学为同一个学院的高校（一般为经济管理学院或者商学院）共计35所。通过网络搜索和问卷调研，共收集到其中31所学院的中文部门期刊列表。收集的部门期刊样本中，数量最多的有102种，最少的11种。列表期刊数量在20-40种，共有10所院校，占样本总数的32.26%；其次是在40-60种，共有8所院校，占样本总数的25.81%。
1.经济管理领域部门期刊列表的认可度分析
部门期刊列表在制定过程中，因为考虑到本机构的学科特色等内部特征，列表的适用性和认可度需要进行分析。本文主要从期刊范围认可度和期刊等级一致性两个维度来进行研究。将31所院校的部门期刊列表中期刊汇聚，得出经济管理学领域重要中文期刊的范畴，共有期刊219种。通过统计219种期刊在部门期刊列表中出现的次数，可以得到样本机构对经济管理类期刊范畴的认识，如图1所示。图1显示，大部分期刊只是在部门期刊列表中出现1-2次，反映样本机构中对经济管理类中文期刊范畴的认识有较大的差异。从具体数据看，只在样本部门期刊列表中出现1次的期刊共有91种，占到期刊总数的41.55%；按照出现次数20%的阈值，在31个样本机构部门期刊列表中出现次数超过6次的期刊共有60种，只占到期刊总数的27.40%。该数据反映，目前样本机构制定的中文经济管理类重要期刊列表的期刊范畴认可度不高。期刊学术影响力涉及到期刊刊登论文数量、创新性等多个要素，虽然很难用一个指标将其刻画出来，但是可以认为期刊学术影响力是一个客观的存在。将期刊按照一定原则和方法进行等级划分，是对期刊学术影响力评价的一个重要方式。机构在制定部门期刊列表时，都会设置相应的期刊等级，如果不同机构的部门期刊列表中对于同一个期刊的等级划分趋于一致的话，说明对该期刊学术影响力的评价一致性较高[20]。本文通过分析不同期刊在31家机构的部门期刊列表中的等级差异，来反映期刊列表的等级认可度情况。PercentileScoreij由于需要体现出期刊在不同部门期刊列表中等级的差异，出现频次较少的期刊难以进行横向比较，在219种期刊中，我们选择出现频率不少于6次的期刊（共计60种）作为进一步分析的样本。首先计算出每一种期刊在相应部门期刊列表中的占位百分比值（），然后运用箱形图来直观反映每一个期刊的占位百分比值波动情况，最后计算期刊占位百分比值的方差，量化给出期刊等级的一致性结果。图2给出了前60种期刊占位百分比值的箱形图情况。图2中已经按照WAP值对期刊进行了排序，序号1的期刊等级最高。图2中的箱形图中给出了每一种期刊占位百分比值的上边缘、上四分位数、中位数、下四分位数、下边缘和异常值共6个指标，并将其中的上四分位数和下四分位数连接为矩形盒。如果不同机构的部门期刊列表对某一个期刊赋予的等级较为一致的话，反映在其占位百分比分值较为接近，在箱型图上表现为矩形盒较短。从图2中可以看出，前60种期刊中大部分期刊的等级评价结果一致性较差。进一步计算每一种期刊占位百分比值的方差，如表1所示。60种期刊中，占位百分比值方差最大值为0.29，最小值为0.06，其中大部分期刊占位百分比值方差是在(0.15,0.20]这个区间。从中可以产出，在样本部门期刊列表中，期刊的占位百分比值波动较大，反映出样本机构对期刊质量的认识并不一致。
2.经济管理领域部门期刊列表的公平性分析
列表的公平性是部门期刊列表需要引起关注的另一个重要话题。因为机构在制定本部门期刊列表时，会根据部门学科特色、发展水平以及决策者偏好对相应期刊等级做出调整，所以期刊列表的公平性一直受到关注。本文选取31家经济与管理学院作为研究样本，学科范畴主要涵盖经济学和管理学两个大类，依据全国第四轮学科评估结果，将一级学科评估结果值按照WAP思想转化成分位值，然后加权汇总得到经济学和管理学两个大类学科的评价结果值，通过对比将31家经济与管理学院划分为侧重管理学、侧重经济学和学科均衡三大类。考虑到国内学科研究的特色，计算过程中将原本属于管理学门类下的农林经济管理一级学科归入到经济学门类下。如果一个经济与管理学院，两个学科的分位值相差在[−5,5]之间，则认为该学院属于学科均衡样本，否则将其归入相应的学科侧重样本。研究样本的31家经济与管理学院中，侧重管理学的有19家，占总样本的61.29%；侧重经济学的有8家，占总样本的25.81%；学科均衡的有4家，占总样本的12.9%。虽然经济学与管理学之间有较多的交叉和融合，但是研究范式和主要内容还是有一定的差异，不同学科领域期刊的刊文风格差异较为明显。通过统计本文收集219种期刊，将其划分为经济类、管理类和其它类三个类型。图3中给出了219种期刊的学科分布情况，以及对应的平均WAP值。从图3中可以看出，219种期刊中，归入管理学和经济学的期刊分别是86种和94种，两个学科的期刊数量相差不大。不同学科期刊的平均WAP值对比可以看出，管理类期刊的评价值要略高于经济类期刊，这可能和样本院校的学科侧重有一定关系。前文分析结果表明31家样本中侧重管理学的有19家，占总样本的61.29%。此外，其他类期刊的平均WAP值要高于经济类和管理类期刊，可能是因为部分机构在依据本单位学科特色，引入了其它领域期刊，在引入的过程中考虑的都是其它领域水平较高的期刊，给予了较高的等级，所以其平均WAP值较高。部门期刊列表中不同学科期刊数量之间如果存在较大差异，直接影响到该机构科研人员可选择的目标期刊数量，带来期刊范畴的公平性问题。对于一个机构来说，选择的期刊范畴有三种可能，一是为了培育和发展弱势学科，遴选出较多弱势学科的期刊；二是强势学科科研人员在制定部门期刊列表过程中有较多的话语权，所以遴选出的期刊列表中强势学科期刊数量较多；第三是为了平衡两个学科，不同学科期刊数量大体相当。删除219种期刊中其它类期刊，选择属于管理学和经济学类的期刊180种，和31家样本机构的期刊列表进行对比分析。如果一个机构的部门期刊列表中，经济学类期刊和管理学类期刊数量相差在[−5,5]之间，将该机构的期刊列表定义为均衡类；如果期刊数量相差超过这个范围，则依据期刊数量的多少将其定义为相应的期刊范畴偏向类。31家机构中，期刊范围均衡的机构共有17家，占总样本的54.84%；期刊范畴偏向于管理类机构共有9家，占总样本的29.03%；期刊范畴偏向于经济类机构共有5家，占总样本的16.13%。表2为不同学科侧重机构的期刊范畴偏向情况。从表2的结果来看，样本机构在制定部门期刊列表时，遴选出的期刊范畴总体上是考虑了管理学和经济学两个学科的平衡性，并没有产生严重的学科范畴公平性问题。从机构的学科侧重情况来看，学科均衡的机构只有4家，占机构总数的12.90%；而部门期刊列表中期刊范围均衡的机构共有17家，占机构总数的54.84%。而在19家侧重管理学的机构中，有三家机构的部门期刊列表期刊范围是偏向经济学，反映了前文所阐述的机构为了培育和发展期弱势学科，遴选出较多弱势学科的期刊。部门期刊列表的公平性除了遴选期刊范围公平性之外，还有一个重要维度即期刊等级的公平性问题。在样本机构中，如果一个部门期刊列表中经济学期刊和管理学期刊的平均WAP有较大差异，则表明该机构的部门期刊列表中存在着期刊等级公平性问题。具体分析期刊等级的公平性问题的步骤如下：首先对于单个机构的部门期刊列表，只选择归属管理学和经济学两个学科的期刊；然后运用WAP方法将期刊对应的评价等级转换为百分位；最后利用加权集成的方法计算得到管理学和经济学两个学科期刊的平均WAP。通过比较两个学科期刊的平均WAP值来分析该机构的部门期刊列表中是否存在期刊等级公平性问题。理论上来说，如果部门期刊列表中对于经济学和管理学的期刊等级划分是公平的，则该机构部门期刊列表中两个学科期刊的平均WAP值之间已经没有显著差异。表3给出了31个样本机构中部门期刊列表的公平性分析结果。从表3可以看出，31个机构的部门期刊列表中，有25家列表中将经济学和管理学期刊的等级是均衡处理，占到总样本的80.65%，比期刊范畴计算结果高25个百分点。说明样本机构在设置期刊等级时，综合考虑了管理学和经济学两个学科的平衡性，期刊等级公平性得到了很好的体现。
三、结论与建议
1.结论
在我国现有的期刊评价体系中，部门期刊列表是一种非常重要的方式，一方面是量化指标方面过于依赖以影响因子为代表的国际评价指标，另一方面是国际学术组织制定的期刊列表难以直接应用到我国期刊评价实践中。本文针对部门期刊列表的认可度和公平性问题，采用加权平均百分位（WAP）方法将不同部门期刊列表集成起来，形成一个可比较的结果，分别从期刊范畴和期刊等级两个维度分析其认可度和公平性问题。选取31家经济与管理学院的部门期刊列表作为样本进行实证分析，研究结果包括如下两个方面：第一，样本机构中的中文经济管理类期刊的认可度不高，体现在54.34%的期刊只是在部门期刊列表中出现1-2次，此外样本期刊在不同期刊列表中的等级评价结果一致性较差，反映样本机构对经济管理类中文期刊范畴的认识以及同一期刊等级的划分还有较大的差异。第二，样本机构中的中文经济管理类期刊的学科公平性较好，54.84%和80.65%的样本机构中经济学和管理学两个学科的期刊范畴和期刊等级是均衡的，说明遴选期刊的范畴和等级总体上是考虑了管理学和经济学两个学科的平衡性，并没有产生严重的学科公平性问题。
2.构建我国中文期刊评价体系的建议
分析结果对我国中文期刊评价问题有重要启示，也为我国中文期刊评价体系的构建提供了相关建议，具体包括：第一，由独立学术机构（如领域学会或科学基金资助机构）研究制定相应的重要期刊列表，进一步提高领域期刊范畴和等级认知的一致性。经济管理领域国际期刊评价实践中，多个国家的学会或科学基金资助机构研究制定了相应的重要期刊列表，为引导本国经济管理科学研究发挥了重要作用，如英国商学院联盟制定的高质量学术期刊指南（ABSAcademicJournalQualityGuide）、法国国家科研中心制定的经济管理类期刊评价列表（CNRSJournalRankinginEconomicsandManagement）。此外，其它学科也有较多的重要期刊列表供学者参考，如中国计算机学会推荐的中文科技期刊目录。第二，创新中文科技期刊评价指标和方法，提高期刊评价结果的科学性和指导性。现有的期刊评价方法过于侧重论文引用角度，可以在此基础上进一步创新期刊评价方法，如可以基于科学基金申请过程中的代表作制度来评价学者对期刊的认可度，定期基于领域活跃学者进行问卷调查得到评价结果，基于重要科研机构部门期刊列表的综合集成进行期刊评价。第三，分领域进行中文期刊评价。期刊评价最终是依赖于领域专家的知识，建议依据教育部一级学科目录体系或者科学基金的申请代码体系，组织专家分领域研究制定领域的期刊列表。科研机构在制定自己部门期刊列表时，可以将不同领域期刊列表进行综合集成，依据本机构特色进行适当调整。