期刊知识的信息评价

期刊知识的信息评价

0引言

CSSCI核心期刊论文数量反映了我国人文社科发展的总体情况。最近10年来CSSCI期刊论文呈下降趋势,从2009年的150069篇下降到2019年的119866篇。经济管理类CSSCI期刊论文数量与之类似,从2009的48102篇下降到2019年的32397篇。在人文社科研发经费与研发人员稳步增长的今天,这种现象是极不正常的。我国CSSCI论文持续下降的原因本质上源于影响因子的操控行为[1]。根据影响因子的计算公式,它是期刊统计年度前两年发表的论文在统计年度的平均被引次数,如果能适当降低载文量,那么有可能会提高影响因子。影响因子操控是一种不道德的行为,何况一些研究表明降低载文量不一定会降低影响因子,因为载文量与影响因子无关[2-4]。此外人为降低载文量也会牺牲学术期刊的信息和知识量,不利于人文社科学术期刊的健康发展。为了抑制载文量异常下降现象,有必要设计反映期刊信息与知识密度的新指标。开展相关研究具有重要意义:第一,有利于遏制期刊载文量异常下降现象,使期刊载文量与人文社科发展同步;第二,期刊信息和知识密度指标缺乏,有利于完善相关领域的评价指标,从而推进文献计量学的发展;第三,分析信息和知识密度指标与其他文献计量指标关系,为学术期刊评价提供新的视角和尺度。1994年原国家科委曾经出台过期刊信息密度的考核指标,就是每个印张的论文数量,该指标应用数年后逐渐被废弃。孙景峰[5]认为采用每印张论文数量表示信息密度并不科学。王蔚良、陈咏梅[6]指出论文的学术质量与文章长短没有必然关系。李晓红、冯保初[7]认为限制论文篇幅,影响学术论文的完整性,也不利于学术风气的成长。赵均[8]提出信息密度可以作为定性指标来进行评价,但不宜作为定量指标来使用。论文中包含的知识量测度一直是个研究难点。温有奎[9]提出知识元的概念,指不可再分割的具有完备知识表达的知识单位。传统标引使用关键词或主题词进行标引,以它为基础的信息检索系统可以提供基于主题词、关键词、作者、篇名词、文摘词等元数据的信息检索,甚至全文检索,检索结果是文献集合[10]。从这个角度,关键词是非常重要的知识标引,是知识元的重要组成部分。期刊论文关键词能反映一定的信息和知识,目前研究主要从两个方面展开。一方面是通过关键词研究学术热点,Atlametal.[11]基于词频变化和机器学习自动估算关键词一定时空内研究热度的变化情况。Zhaoetal.[12]进行关键词聚类研究,根据出现年份进行关键词热点分析。Shaffer[13]抽取论文标题中的词语构建共现网络,通过聚类分析识别新兴研究前沿。余丰民、林彦汝[14]通过基于学术论文关键词词频统计方法,构建研究热点漂移程度模型。奉国和、孔泳欣[15]基于生命周期理论和词频分析方法,揭示学科研究热点及变化趋势。廖鹏飞,李明鑫等[16]从生命周期角度出发,尝试从被常规研究所忽略的长尾关键词中探寻领域新兴前沿,提升领域前沿识别的时效性。另一方面是关于论文关键词信息与知识含量的相关研究,李秀霞、程结晶等[17]研究发现,我国情报学期刊的关键词呈典型的负幂函数分布,期刊关键词分布的负幂函数方程参数可作为其学术质量评价的指标之一。安璐、余传明[18]通过计算期刊的关键词数量与方差,指出学术期刊质量的提升不仅依赖于被引频率、影响因子等,更重要的是规划、调整期刊的主题内容。马峥、俞征鹿[19]通过统计期刊文献关键词,设计了“红点指标冶,用来反映期刊内容与同领域的研究热点方向或主题的重合程度,以此评价期刊的学术质量。田大芳、张瑞丽等[20]以《中国图书馆学报》和《情报学报》为例,计算两种期刊关键词相似度,发现两种期刊的相似度有一定波动,但整体上呈现下降趋势。参考文献作为科技论文不可或缺的组成部分,包含了一定量的信息和知识,是影响科技论文质量的重要因素[21]。Biglu[22]通过研究SCI数据库参考文献数量对影响因子的影响,发现影响因子和参考文献数量之间呈显著的正相关。Corbyn[23]基于Science上发表的50000篇论文研究发现,参考文献越多,论文越容易得到更多的引用。姜春林、刘学等[24]研究发现,高被引论文倾向于引用高被引文献。梁春慧、孙艳等[25]对8585篇化学论文进行统计分析发现,高被引论文的参考文献数量明显比一般论文多。张垒[26]对档案学期刊的研究表明,参考文献数量与论文高被引不具有相关性,但高被引论文倾向于引用影响力较高的期刊。综上研究可以看出,关于学术期刊的信息和知识量研究,原国家科委提出的每印张论文数量指标存在不少问题,事实上已经停止使用。关于学术期刊信息和知识量的相关研究,学术界研究思路主要包括关键词分析、参考文献分析等,但目前研究主要目的是研究不同因素之间的关系,或者是研究学术热点,关于信息和知识量测度的研究比较缺乏,事实上迄今为止尚缺乏相关指标。本文以CSSCI经济学期刊为例,基于中国知网的引文数据库,在对学术期刊信息和知识量进行理论分析的基础上,从载文量、被引刊数、参考文献、关键词等角度多方面选择评价指标,并采用TOPSIS法评价,得到期刊信息与知识密度指数(Information&KnowledgeDensityIndex,IKDI),并研究其与其他文献计量指标关系,在此基础上得出研究结论并进行相关讨论。

1信息与知识密度指数的原理

1.1期刊信息与知识密度指数的设计原则

第一,信息与知识密度指数应主要采用来源指标评价。期刊评价指标包括来源指标和引用指标,前者主要是期刊本身包含的一些指标,比如作者数、地区分布数、论文篇幅、关键词、参考文献、基金论文比等等,后者是期刊的被引指标,如影响因子、即年指标、特征因子、总被引频次等等。来源指标是引用指标的基础,从来源指标来设计信息与知识密度指数有利于更加合理地对一些相关因素进行分析,从源头和形式上提高期刊论文质量。第二,信息与知识密度指数应包括更加广泛的因素。对于学术期刊的信息与知识密度的评价,目前还是个很大的难题,因此测度时应避免视角单一,这样可以降低测度误差,提高信息与知识密度测度的稳健性。比如应综合考虑载文量、被引刊数、中英文参考文献、国际化水平、关键词覆盖范围等等。第三,信息与知识密度的评价指标主要应选用相对指标。采用相对指标的目的是为了提高信息与知识测度的质量,避免单纯追求数量的现象。第四,权重稳健原则。用于测度信息与知识密度的指标有多个,由于处于探索阶段,对于每个指标的权重大小设计尚缺乏经验,在这种情况下,一般宜采用等权重原则进行处理,即摈弃主观评价方法,以客观评价方法进行指标体系评价。第五,避免自然权重原则。自然权重最初由俞立平、宋夏云等[27]提出,是指在多属性评价中由于标准化后指标均值不相等带来的权重偏倚现象。文献计量指标许多并不服从正态分布,自然权重问题会比较严重,所以要采用新的标准化手段,防止自然权重的带来的异常影响。

1.2期刊信息与知识密度指数的评价框架

信息与知识密度测度框架如图1所示。主要从信息与知识载体、信息与知识内容、信息与知识来源、信息与知识来源国际化、信息与知识影响这5个视角进行测度。信息知识载体:主要从载文量角度进行测度。在版面一定的情况下,假设质量不变,那么载文量大的期刊无疑具有更多的信息与知识含量。载文量是个双刃剑,曾经出现过一些期刊载文量人为加大导致期刊质量下降的情况,后来更多期刊片面认为降低载文量会提高影响因子,因此近年来CSSCI期刊载文量又出现普遍降低的异常现象。文献计量指标的一个重要功能就是管理调节作用,对学术期刊发展中存在的问题需要进行适当干预。信息知识内容:采用篇均关键词表示。一般每个期刊都规定了关键词的数量,但有一定的弹性,总体上变化不大。关键词越多,意味着期刊的研究内容和研究方法涉及的范围越广,期刊信息和知识量越多。但是这里面需要注意两个问题,第一是关键词的近义问题,由于中文的特点,关键词之间意思相近或相同的情况不少,这里存在信息冗余,目前还没有较好的解决办法。第二是关键词的重复问题,如果期刊专业性较强,必然有很多关键词是重复的,篇均关键词较少。对于这个问题,只能说专业性较强的期刊关键词指标相对不占优势,但鼓励这些期刊增加关键词有利于跨学科、交叉学科研究,还是有利于提高期刊质量的。信息来源指标:采用两个指标表示,分别是篇均中文参考文献和篇均英文参考文献。学术研究是在前人基础上进行的,即使是前人的错误也是研究的重要基础。所以不管引用目的是什么,这并不妨碍用参考文献数量来反映期刊的信息与知识含量。需要注意的是,从单篇论文的角度,难以采用参考文献指标来评价其信息和知识量,因为对于单篇论文个体,需要通过论文内容来对其创新进行综合判断。但从期刊评价的角度,因为期刊是若干论文的集合,所以从期刊总体信息与知识量评价的角度,用参考文献相关指标是可以的。信息知识来源国际化:用外文参考文献比表示,这里外文主要是英文,但也包括少量的日文、韩文、德文、法文等。随着全球化的深入,即使是人文社科研究,国际交流也大大增强,如果一个期刊引用更多的国外文献,说明其具有更广阔的研究视野。当然由于学科不同,期刊引用国外参考文献也存在较大的差异,比如经济学引用国外参考文献比例一般较高,中国历史引用国外参考文献比例较低,但评价一般用在同一学科的不同期刊之间比较,因此这个问题的影响相对较小。信息知识影响:用新扩散因子表示(NewJournalDiffusionFactors,NJDF)。该指标是Frandsen[28]提出的,用期刊被引刊数除以载文量。由于每个期刊的办刊偏好、办刊特色均不一样,一个期刊被引用的期刊越多,说明该期刊具有更多的信息和知识量。这个指标是期刊信息与知识密度测度中唯一的一个影响指标。

1.3期刊信息与知识密度的评价方法

本文采用TOPSIS方法来计算期刊信息与知识密度指数,该方法是Huangetal.[29]首创,目前在学术评价中应用广泛。TOPSIS根据评价对象到理想解与负理想解的相对距离来进行评价。作为对期刊信息与知识密度测度的一种探索,很难确定不同指标的权重,因此本文采用等权重法进行处理。1.4评价指标标准化方法本文采用Sigmoid函数进行标准化。该函数具有如下特点:第一是极大值无限接近1,极小值无限接近0,这样可以直接对评价指标进行打分;第二,拐点位置为(0,0.5),进入成长期的坐标为(-1.317,0.211),进入成熟期的坐标是(1.317,0.789),可以对评价对象所处发展阶段加以判断。第三,标准化后不同指标的均值比较接近,可以避免出现自然权重现象。比如一个班级语文的平均成绩为65分,数学的平均成绩为85分,理论上两门课程的权重一样,但很明显数学好的同学具有优势,这就是自然权重问题,只有当语文和数学的平均分数大致相等时,两者的权重才真正相等。

2数据来源

本文以2019-2020版CSSCI经济学期刊为例进行研究,在人文社科的所有学科中,一般认为经济学属于科学。经济学期刊相对比较严谨,而且被其他学科引用也较多,主要原因是经济学的研究方法被其他学科所借鉴,这种现象也称为经济学帝国主义现象。本文数据来源于中国知网的引文数据库,由于测度期刊的信息与知识密度指数后还要分析其与影响因子、h指数等文献计量指标的关系,因此必须保证这些指标的数据时间同步,因此本文所有测度指标的时间跨度为2016-2017年,被引指标的时间为2018年,这也正是影响因子计算的时间界定,此外对于h指数也是期刊2016-2017年发表的论文在2018年的h指数。2019-2020版CSSCI期刊共有经济学期刊70种,但《国际贸易》有部分数据缺失,将其删除,实际还有69种期刊。

3实证结果

3.1期刊信息与知识密度指数的计算

经济学期刊信息与知识密度指数的计算结果如表2所示,为了提高区分度,对TOPSIS评价值均乘以100。超过60分的期刊共有14种,说明采用本文的信息与知识密度测度方法,总体上打分偏低,这与评价方法有关,当然可以通过评价值标准化方法来弥补这个问题,由于要进行打分的后续分析,因此本文没有做进一步的处理。排在前几位的期刊为《中国工业经济》、《经济学动态》、《世界经济》、《经济学(季刊)》,这些均是业界公认的优秀经济学期刊。《经济研究》作为公认的经济学顶级期刊,排在第九位,说明从信息与知识密度角度,其还有改进空间。期刊信息与知识密度指数JIKI的数据分布如图2所示。经济学期刊的均值为51.43,极大值为69.18,极小值为33.16,标准差为8.36,总体上处于正常波动状态,比较适合用来评价。Jarque-Bera检验值为1.258,p值为0.533,不能拒绝原假设,说明其总体上服从正态分布,这对期刊评价而言是一个良好的性质。

3.2期刊信息与知识密度指数和影响因子的关系

首先用影响因子作为因变量,h指数、载文量、期刊信息与知识密度指数作为自变量进行回归,结果如表3所示。研究发现,h指数与影响因子正相关,弹性系数为1.359,载文量与影响因子负相关,弹性系数为-0.435,而期刊信息与知识密度指数与影响因子无关,数为0.623,载文量与h指数也是正相关,弹性系数为0.333。

3.3期刊信息与知识密度指数的分组分析

根据浙江大学学术期刊分类目录,顶级经济学期刊为《经济研究》,一级期刊包括《世界经济》、《金融研究》、《数量经济技术经济研究》等13种期刊,将这14种期刊分为一类,其他CSSCI核心期刊分类一类,采用独立样本t检验进行均值比较。一级以上期刊的均值为59.28,其他期刊的均值为49.61,相差接近10分。t检验值为4.189,p值为0.000,说明两者均值的差距是显著的,即一级期刊的平均信息量比其他期刊高,这进一步说明该指标可以用来进行期刊信息与知识密度评价。

3.4稳健性检验

首先对影响因子作为因变量的回归模型进行检验,由于数据极为有限,传统的基于回归分析的稳健性检验方法并不适用,因此本文采用BP人工神经网络进行稳健性检验,即将影响因子作为产出变量,期刊信息与知识密度指数、h指数、载文量作为输入变量,建立BP人工神经网络并进行学习。由于每次学习的结果均不一样,因此建立5个模型,取其均值作为最终结果,如表5所示。从表5可以看出,模型的平均拟合优度为0.845,平均相关系数为0.925,总体上处于较高水平。从投入变量的权重看,对影响因子贡献最大的为h指数,权重为92.55%,其次是载文量,权重为7.83%,而期刊信息与知识密度指数对影响因子的权重仅为0.82%,几乎无关,说明影响因子的回归结果是稳健的。表6为h指数作为产出,影响因子、载文量、期刊信息与知识密度指数作为投入变量的BP神经网络学习结果,从平均值看,对h指数影响最大的为影响因子,权重为77.43%,其次是载文量,权重为20.79%,而期刊信息与知识密度指数的作用最小,权重仅为1.78%,这样h指数回归结果也得到了进一步的稳健性检验。

4研究结论

(1)在载文量异常下降背景下需要研究期刊信息与知识量指标

本文研究发现,最近10年中国CSSCI期刊和经济管理期刊均存在着载文量持续下降现象,在人文社科研发经费和研发人员投入持续增加的情况下,这种现象是异常的。其主要原因是许多期刊试图通过降低载文量来提高影响因子,这是一种影响因子操控行为,必须加以干预。降低载文量会牺牲学术期刊的信息和知识量,因此必须研究期刊信息与知识量的相关指标,一定程度上来解决这个问题。

(2)期刊信息与知识密度指数是一个全新的文献计量指标

传统的采用每印张论文数量来衡量学术期刊信息量的指标存在不少问题,本文在分析信息与知识密度指标设计原则的基础上,提出从信息知识载体、信息知识内容、信息知识来源、信息知识国际化、信息知识影响角度选择指标体系,采用Sigmoid函数进行标准化,并通过TOPSIS进行评价,得到期刊信息与知识密度指数,该指标是个全新的文献计量指标,以来源指标为主进行评价,以相对指标为主,并且有效地克服了自然问题。

(3)期刊信息与知识密度指数与载文量正相关

本文研究发现,期刊信息与知识密度指数与载文量正相关,这样有利于鼓励期刊增加载文量,从而遏制近年来期刊载文量总体下降的不良趋势。

(4)期刊信息与知识密度指数与期刊影响力指标无关

本文研究发现,期刊信息与知识密度指数与影响因子、h指数无关,通过BP人工神经网络进行稳健性检验发现,这个结论是可靠的。说明期刊信息与知识密度因子能够提供更多的信息,可以用来弥补目前文献计量指标影响力指标较多、其他指标相对较少的不足。

(5)一级期刊信息与知识密度指数显著高于其他普通期刊

根据浙江大学学术期刊分级目录,一级以上期刊往往代表了经济学领域的权威期刊和顶级期刊,通过独立样本t检验的研究表明,一级以上期刊的信息与知识密度指数平均比其他期刊高10分,并且这种差距是显著的,这说明优秀期刊的信息与知识密度指数较高,期刊信息与知识密度指数用于评价学术期刊是可行的。

(6)期刊信息与知识密度指数具有较好的统计性质

本文研究发现,期刊信息与知识密度指数服从正态分布,并且其标准差大小比较合理,符合目前经济学CSSCI期刊的现实情况。在许多文献计量指标不服从正态分布的情况下,期刊信息与知识密度指数具有较好的统计学性质,方便用于评价。当然,期刊信息与知识密度指数只是用于宏观学术期刊评价的一种探索,不能细化到具体的论文评价,此外由于学科不同、数据库不同,该指标的特点尚有待进一步深入研究。