学术期刊评价研究的几个关系问题

学术期刊评价研究的几个关系问题

一、定量评价与定性评价

所谓定量评价也称量化评价,是采用数学的方法收集和处理数据资料,对被评对象做出定量结果的价值判断。定量方法虽具有客观化、精确化、便捷化等优点,但由于它忽略学术评价中某些对象难以量化的品质和行为,不易对评价结果做出恰如其分的反映。而定性评价则是利用同行专家的知识、经验和判断进行评审和比较的评价方法。该方法着重从质的方面分析和把握某一事物的属性,容易受个人价值观、知识结构等主观因素影响。讲到同行专家定性评价时,以湖南省社会科学界联合会党组书记、副主席周发源为主持人的湖南省“社会科学评价体系研究”课题组的研究认为:“同行评议作为一种历史悠久的评价方法,亦有其主观性、易受人为因素影响等局限。”“同行评议往往可能受到专家学识、见解以及评估过程中态度、感情等心理因素的影响和制约,特别是当评审专家职业操守出现问题时,同行评议就难以保证评审的公平和公正。”[2]以上关于定性评价局限性的分析,十分准确。正因此,凡是科学的、合理的、公正的学术评价,必然采用定量与定性评价相结合的方法。事实表明:定量评价大都渗透着定性评价的结果,甚至以定性评价为基础,而定性评价则大多以定量评价为前提、为参考。考察近年来学术评价的实践,量化评价表面上看似乎是一些纯客观数据的简单综合,其实在这些客观数据的背后几乎都程度不同地隐藏着同行专家的主观评价,从未脱离定性评价。如果稍作分析,我们就可清楚地看到:在定量评价中最受人们重视的被引频次、影响因子等,除极个别负引之外,大多都是反映了同行专家、学者在阅读期刊过程中,对有价值、有水平的文章及其观点、材料、分析论证的一种肯定。而论文的被转、被摘,也大都是经过了文摘报刊编辑、负责审稿的编委等同行专家认真审阅、精挑细选,具有较高水平、较大价值之作,也在一定程度上反映着同行专家的认可。而论文获奖、期刊获奖,虽近年来在实践中也出现过某些不公正问题,但总体而言,各级各类的评奖无不是由学科同行专家参与评审完成的,更是直接体现着学术共同体对被评对象质量和价值的判断。另外,点击率、下载率的多少更反映着同行学人对某一期刊关注、阅读及认可的程度。实事求是地说,对期刊量化评价的结果,应当说是对编辑出版原刊的编者、文摘期刊的编辑、阅读期刊的读者以及期刊评优的专家等学术共同体评价意见一次次累加综合而成的产物,而并非只是与专家、学者无关的冰冷的数字。由此可见,一般化地将量化评价排除在学术期刊评价之外,从而将量化评价与学术共同体的定性评价割裂开来、对立起来,是既不合情也不合理的。关于定量评价,指标的选择十分关键。目前,我国在核心期刊评价中,有多指标评价与单指标评价两种体系。[3]两种体系各有优劣,但相较而言,我比较赞同多指标体系。虽然引文法能比较客观地呈现学术期刊的学术水平,但摘转率、获奖率等同样也是反映学术期刊学术水平的重要指标。这也是大家公认的。有鉴于此,量化评价应尽量采用多指标体系。正是基于以上认识,我始终比较赞同学术评价研究专家、南京大学叶继元教授所主张的“对学术期刊的评价,应当坚持国内外通行的定性与定量相结合的方法”。他曾讲到:“常用的载文法、文摘法、引文分析法、读者利用率等等文献计量法与专家意见法,在国外已有几十年的历史,在国内也有十多年的经验,可以说已比较稳定,成为必备的方法。在期刊评价中,定量评价具体明确,但单纯依靠数据,则有一定的局限性……定性评价宏观、全面,但单纯的定性评价,则有相当的随意性、主观性。”[4]由此看来,惟有将定量评价与定性结合起来,才是评价学术期刊可以互为补充、科学合理的优化的方法。

二、学术质量标准与期刊影响力标准

在以往的学术期刊质量标准中,期刊的学术水平与期刊影响力混搭在一起,统称为学术质量标准或业务标准。其实,仔细分析学术期刊的学术质量与期刊影响力,应是两个既有密切关系但又有很大不同的标准:首先,学术期刊的学术水平、学术质量是期刊自身固有的质性,而学术期刊的影响力则是期刊学术水平、学术质量以及政治质量、编辑出版质量的延伸表现,是由期刊各项质量因素综合而成的整体质量所衍生出来的一种客观效果。某一学术期刊,可能水平很高,但由于其学科属冷门问题、偏门专业,就不易产生较大影响力。上世纪80年代,《北京大学学报》原主编苏志中教授曾在一次会议上讲到,《北京大学学报》曾发表过一篇蒙古学研究的论文,他估计当时国内对该文有兴趣的人可能非常之少,然而就是这篇国内少有人关注的文章,却引起了日本学界有关专家的重视。据说,当年某日本学者访华团到访中国,首先打听并提出要拜访的是该篇论文的作者。上世纪七八十年代,《陕西师范大学学报》发表历史地理学家史念海先生的研究论文,就常遇到校内外某些学人质疑,认为此类文章不会有人读,大多数人也读不懂。可见,由于学科专业性质的不同,常会影响学术期刊影响力的大小。另外,某一学术期刊可能学术水平很高,但因其主办单位名头不大、出版地域较偏等种种外在原因,也常常限制其难以产生较大影响力。此外,学术期刊的外在形式(包括论文题目的醒目与否、刊物装帧设计、印装质量等因素)以及传播渠道、发行方式、宣传力度等都会直接影响到期刊的影响力。可见,期刊的影响力虽然在一般情况下与期刊的学术水平间存在着正相关的关系,但同时它还要受到多种外在因素的制约,并非一个高水平的学术期刊,其影响力就必然大;一个水平不高的学术期刊影响力就必然小。由此,设计评价学术期刊质量的标准及指标,应将学术质量与期刊影响力分开作为两大标准。期刊的学术质量主要体现期刊所刊载的论文的学术水平———包括被引频次、影响因子、五年影响因子,论文被重要文摘报刊的转摘率,论文的获奖情况,等等。关于期刊影响力,1996年新闻出版署评价标准中只列举了产生重大社会实践反响的论文,而未提到产生重大学术反响的论文,[5]有失偏颇。其实,期刊影响力既包括发表后引起国家或地区党政机关重视、被有关领导批示采纳其观点、结论,产生较大经济社会效益者;同时还应包括发表后被引频次高、影响因子位居本学科专业前列,或同时被几家权威文摘报刊全文转载,或获国家、地方政府高层次、高等级奖项者。评价学术期刊,应增设期刊影响力标准,使之与期刊政治质量、学术质量、编辑出版质量一起作为评价学术期刊的四大一级标准。关于学术期刊影响力评价的指标,我认为主要有3个:其一为期刊的社会信誉度,评价指标包括期刊获国家、省部以上政府期刊奖、出版奖,被国内外重要核心期刊库收录,被国内外重要媒体、著名专家公开评价等。其二为学术及社会实践影响力,评价指标具体包括两个方面:一是期刊发表的论文产生了重大学术理论反响,如年度被引频次排名本学科专业前列,或一篇论文同时被多家重要文摘报刊转载,或获省部级以上高等级优秀成果奖、“五个一工程”等大奖。二是期刊发表的论文产生重大社会反响,如有关论文引起党和国家及地区党委、政府重视,论文的观点、结论被省部以上领导批示,党委、政府采纳,产生突出经济社会效益。前者如上世纪50年代《文史哲》发表李希凡、蓝翎评论《红楼梦》研究的文章所产生的重大学术理论反响,《光明日报》70年代末发表《实践是检验真理的唯一标准》开启了解放思想、改革开放新时代的巨大影响力。后者如著名历史地理学家史念海先生《论西安周围诸河流量的变化》发表后受到时任陕西省长批示,省市政府成立专门机构落实其关于恢复秦岭北麓生态植被、以从根本上解决西安供水困难的建议;著名唐史专家牛致功先生《论西安建都的朝代问题》从长期流行的8朝、9朝、11朝、17朝说等众多观点的分析考辨中提出13朝说,被陕西省和西安市政府采纳作为对外宣传的标准说法。惟有如此强调对具有突破性价值的代表性论作的评价,才可能准确把握期刊的学术及社会影响力。其三为读者认可度。评价某一期刊,读者欢迎不欢迎应是根本的标准。在以往的学术期刊质量标准及评价实践中,对读者、市场的认可程度多有忽视,这是重要失误。评价读者认可度,其指标主要包括对期刊印刷版的国内外订阅量、发行量,读者网上的点击率、下载量,以及中国知网等海内外传播情况等的考量。

三、学术期刊评价与学术评价

学术期刊评价是学术评价的重要组成部分,学术评价包括学术期刊评价。学术期刊评价是以考量学术期刊质量与学术期刊编辑者办刊水平为对象的评价活动。评价的目的在于考察期刊质量与期刊社(编辑部)办刊水平,总结办刊经验,找出办刊中存在的问题,以促进学术期刊社不断改进工作,提高办刊水平。学术期刊的评价按被评对象与评价目的的不同可分为两种情形:一是评价期刊的质量,二是评价期刊社的办刊水平。前者如学术期刊评优等,后者如教育部名刊工程入选期刊评选、国家社科基金资助学术期刊遴选等。学术期刊质量的评价以往多以政治质量、学术质量、编辑质量、出版质量四个方面为质量标准,从内容到形式对期刊进行全面的质量衡判。而学术期刊办刊水平的评价,除了对期刊本身质量做出评判外,还要对期刊的办刊条件(如主办单位重视与支持的程度,经费与办公条件及人员配备情况等)、编辑部建设与管理水平(如编辑部工作人员的思想与业务素质、规章制度建设、工作考核与管理状况等)、期刊社经营效果等做出综合评估,以评价其办刊能力、办刊水平与绩效。正是基于上述任务的特殊性,评价学术期刊的主体应由三部分人组成:一是相关学科专家,二是学术期刊编辑专家,三是期刊出版管理专家。由此三方面专家组成的评价组织,应就是学术期刊评价的学术共同体。学术评价是以学术标准为尺度,对学术活动做出水平与价值判断的过程。学术评价包括不同的类型,主要有学术研究成果的评价(含学术成果评奖、学术出版稿件的评选)、学术研究人员的评价(包括教学科研人员职称评审、各层次优秀人才选拔、专业技术人员岗位聘任及业绩考核)、学科评估、学术机构评估以及研究课题立项的评审与结项验收等。学术成果的评价主要是评判成果所达到的学术水平及其理论与实践价值;学术人才的评价主要评判教学科研人员的学术水平及学术贡献;学科评估主要评判某一学科团队科研水平、对学科建设的贡献及科研创新能力;学术机构评估主要评判学术研究组织整体科研水平、学术贡献及科研创新能力。各种类型的学术评价,其评价对象、评价内容及所要达到的目的不尽相同,但所有学术评价的基本依据还都是学术研究成果。由此特点决定,学术评价的主体应是相关学科专业造诣精深的专家。深入认识、理解学术期刊评价与一般学术评价的异同及特点,对于研制科学、合理且具可操作性的学术期刊评价方案、办法和标准,深入开展学术评价理论、实践问题的研究都具有重要意义。关于学术评价主体,近年学界十分强调学术共同体评价,这无疑对摒弃长期以来我国实行以行政主导为主的学术评价制度,将学术评价回归学术是重要改进。但是,对于学术期刊评价来说,虽评价的主体主要应为学科专家,但绝不能排斥期刊编辑专家及期刊出版管理专家;多年来各省区市举办的各种期刊评优,教育部名刊名栏评选以及国家出版奖的评选实践也充分证明,期刊评价离不开期刊编辑专家和出版管理专家。

四、评价的科学性、合理性与可操作性

关于学术期刊评价乃至所有学术评价活动究竟如何开展,从理论假设或作逻辑推演,似乎是很容易的,但从实践操作层面看,尚有不少问题值得探讨。多年来,笔者本人曾主持过数届陕西省高校学术期刊的评奖,也参与过数届全国高校社科期刊的评优、第二届教育部高校名刊入选期刊的通讯评审及北京大学、中国社科院核心期刊的通讯评审等学术期刊评价工作,也参与过陕西省教育厅高校人文社科成果奖、陕西省政府哲学社会科学成果奖等的通讯评审及学科组、大评委会。笔者曾反复思考过,如何改进完善学术期刊及所有学术评价工作,但思考的结果都是,包括学术期刊评价在内的各种学术评价在实践上都是一个相当复杂且繁难的工作。仅以陕西省高校学术期刊评奖说,每届社科类期刊申报参评者大约50多家,如按每家选一年出版的期刊作评优的样本,平均以双月刊计即多达300余册。面对如此浩大数量的被评对象,参与评审专家如以10多人计,每人的评审量仍达30多册。抛开是否有专家愿意承担如此繁重的评阅任务,以及专家劳务费用花费等不说,我们可以设想有无能够对一本综合性大学学报或其他学术期刊所涉学科专业论文的水平和价值做出科学公正评判的全能专家?为解决此一难题,我们在评刊实践中也曾采用过分组办法(每组2—3人),对每份刊物选抽若干页码(如1—50页等),从观点内容到编校质量进行细读细评,而后由小组讨论后拿出评审意见。但由于评审小组各个专家学科专业背景所限,故此办法不仅费时费力,评审结论的真正准确、科学也很难说一定能够达到。在学术期刊评价中如果没有量化评价,丢掉了前人、他人已经做过的评价成果,就可能会遇到以下诸多方面的困难和问题:一是评阅刊物的任务太过繁重、艰巨,需要花费时间精力太大、太多,愿意承担评审工作的同行学科专家不易找到;二是如果没有量化结果作为基础,仅凭专家个人审读材料、做出评价结论,主观性、随意性在所难免,而且专家组中各人看法往往分歧,评价意见、结论难以统一的情况也会出现;三是要求专家全部审读申报材料原件确实很难做到,而仅作抽查、选择性审读,评价结论的准确性、科学性和可信度就可能要大打折扣。据我的经历,目前各省区市的学术期刊评估、评奖乃至学术成果评奖,面对众多被评材料时,不少专家都有一种无从下手的感觉。由于通讯评审时间紧、任务重,在大多数情况下,不少人只能匆匆翻阅材料,最终不得不参照相关反响证明材料再加以个人的印象评审打分,决定取舍,真正下功夫认真阅读、研究材料尤其是细读专著论文者人数十分有限。《湖南社会科学》杂志社刘峰先生在讲到学术评价存在的问题时,曾指出:“在学术评奖过程中,不少评委是学术带头人,平时工作繁忙,难以有足够的时间仔细阅读被评人的作品,仅浮光掠影地简单浏览后即进行评定,这样评出的奖,其判断的准确性值得疑虑。”[7]此种现象,无论科研成果评奖或是期刊评奖皆大体如此。试想,如果没有定量评价(其实也是此前专家学者定性评价的一种综合的结果)作基础,单凭几个专家在有限的时间里靠个人的主观印象评判某一被评价对象,不但评价结果的准确性、科学性、公正性难以保证,其在实践中如何操作也更是大成问题。近年,为减轻专家评审的工作量,解决目前期刊评价实践中操作难的问题,已有有关期刊评价活动尝试采用了加强被评对象自评总结环节的工作,如有关量化项目由期刊社(编辑部)自评自测赋分并提供相应的证明材料,部分项目由专家依据材料赋分,而专家评审组织主要负责复查审核证明材料的真实性与赋分的准确性,如此节省了专家大量时间精力,以用于充分研阅被评材料,重点保证定性评价,从而提高了评价的效率和质量。笔者认为,这种方法上的改进,不仅为解决学术期刊评价难以操作的问题创出了一条有效的路径,而且对于保障学术期刊评价的科学性、合理性、公正性也具有重要启迪意义。

五、评价制度与评价伦理

在近年的学术期刊评价研究中,关注评价制度建设的相关成果较多,而对评价伦理问题的关注相对较少。制度,按新制度经济学家诺思的说法,“是一系列被制定出来的规则、守法程序和行为的道德伦理的规范”[8],而规则则是人类设计的制约人们相互行为的约束条件,也即制度具有约束、规范和引领人们行为的功能。学术制度是社会或学术共同体为保障知识创新而确立的引导学术活动的行为准则和规范。在各项学术制度中,学术评价制度处于核心地位。对于构建科学、合理的学术期刊评价体系、进行公平公正的评价活动来说,学术评估制度图然是保障学术评价健康开展并达至公平公正的关键,但仅有好的评价制度还远远不够。良好的学术评价伦理,亦是学术评价体系的不可或缺的重要组成部分。所谓伦理,是指处理人与人、人与社会相互关系时应遵循的准则,它蕴含着理性、科学、公共意志等属性,具有普遍性。博耶认为,学术评价的第一原则是“学者的品质”“坚韧不拔、创造性、谦虚和正直等品质是学术生活的真谛”[9]。学术评价伦理的核心内涵是诚实、守信,它要求在学术评价活动中,作为被评对象要实事求是地进行自我总结、自我评价,以为评价主体提供能够反映其真实面貌的评价材料;而作为评价主体,则要客观、公正地对待被评对象,以高度负责的态度对待评价工作,认真阅读、研究相关材料,审慎分析判断,以求做出准确、科学的结论。考察近年来我国学术评价活动,一方面学术评价制度建设的不完善及其实施的不力,都程度不同地有所表现,如:有的评价程序不够完善,有的评价专家的遴选缺乏规则,轮换办法不落实,回避及监管制度不严格,对出现的问题处罚不力;评价标准方面或偏重定量分析,轻视同行专家定性评价,或强调定性意见,忽视定量分析,总之,不能做到两者的有机结合,影响着评价结论的科学性、合理性。另一方面,对学术伦理的建设从理论研究到评价实践,都缺乏应有的重视。检索中国知网有关文献,涉及学术评价伦理的研究成果数量十分有限。而分析当前学术评价中的问题,不少或直接就是评价伦理的问题,或与评价伦理密切相关。从被评者角度说,有的申报材料不真实,甚至弄虚作假,如有的期刊结对互相引用,或花钱买引用,以极不正当的手段提高本刊的引用率;有的千方百计找门路,跑关系,活动评委,等等。从评价主体角度看,有的评委责任心缺失,对工作粗枝大叶、马虎应付;有的罔顾事实,一味照顾各种关系,以亲疏论高下,等等。总之,上述学术伦理方面存在的问题,已经严重影响着学术期刊评价工作健康有序地开展及其结论的科学性和权威性。在讲到繁荣哲学社会科学必须解决好学风问题时曾指出:“要大力弘扬优良学风,把软约束和硬措施结合起来,推动形成崇尚精品、严谨治学、注重诚信、讲求责任的优良学风,营造风清气正、互学互鉴、积极向上的学术生态。广大哲学社会科学工作者要树立良好的学术道德,自觉遵守学术规范……真正把做人、做事、做学问统一起来。”[1]所说的软约束即指学术伦理道德的约束,硬措施即指评价制度规则的限制;他所要求的学者必须树立崇尚精品、严谨治学、注重诚信、讲求责任的优良学风,学术界必须营造风清气正、互学互鉴、积极向上的学术生态,即为我们深刻地揭示出了学术评价伦理的核心内容。由此看来,要真正构建一个科学、合理、公平、公正的学术期刊评价体系,不断改进、完善学术期刊评价工作,提升评价工作的权威性和公信力,必须既重视评价制度的改进、完善;同时,又着力深化评价伦理的研究,推进良好学术生态的建设,把两者有机结合起来。改进和完善学术期刊的评价,需要探讨的问题还有很多,譬如如何分类进行评价、如何保证评价程序正义、如何落实评价的公示、申诉、投诉制度以及健全、完善对评价活动的公正监督的制度,尤其如何加强学术伦理教育,不断提升学术界思想道德修养,创建一个良好的学术评价环境等,都还需要期刊界、学术界从理论与实践的结合上做出深入研究和探索。