一、期刊评价方法的历史与转向：从同行评议到文献计量
（一）期刊评价的历史演进与量化转向
学术期刊评价初始是文献计量学研究的重要组成部分，研究的初衷是为图书馆采购学科重要期刊和引文数据库遴选来源期刊服务，为优化学术期刊的使用提供参考。其评价结果渐渐应用于科研管理、学者成果评价、学术奖励、学术资源分配等方面。文献计量学派主要通过量化方法研究期刊发展规律、增长趋势和分布规律。其中，引文分析法是通过学术期刊增长趋势和分布规律进行期刊分级量化评价。作为学术期刊定量评价法，文献计量法的发展主要经历了三个阶段：第一，早期阶段，主要研究文献集中与分散分布规律，关注发文量指标；第二，引文分析法阶段，通过引文量测算平均被引率和影响因子，进行量化分级，以及设计发文和引文量结合、数量和质量结合的H指数，进行复杂评价；第三，在模糊评价阶段，将定性数据进行量化统计，进行综合混合评价[4]。现阶段，国内学术期刊评价体系基本都采用文献计量学的量化评价法，公布定量指标和权重，根据指标算法、数据结果排序对期刊进行等级分类，拟定“核心期刊”[21]。一些评价机构声称采用定量和定性相结合的方法，但在评价过程中定性指标和权重并未提及，定性评价仅仅作为参考和补充。定量评价法为什么会成为期刊评价的主流方法呢？我们知道，早期的学术评价主要采用的是依托学术共同体的同行评议机制。“同行评议”的概念则最早出现在17世纪中期，在英国皇家学会期刊《哲学会刊》的论文评审中，通过同行专家评议对论文内容进行评价，判断作品的有效性、重要性和原创性，为学术期刊选稿提供参考。同行评议被誉为“汇聚专家智慧、识别重要思想、更正研究错误，确保研究团队获得更大支持的学术评价方法”[27]。同行评议是一种依托学术共同体的重要评价方法，评议人体系的制度化深刻体现了期刊发展的社会属性，作为一种精英化的学术交流和评价活动，同行评议主要存在于学术精英的小圈子中。在现实中，同行评议易受到人缘、师承、权力利益关系的影响，如学术人情关系、行政权力干预、圈子文化、学术评价标准丧失和评价不公开、不公正的问题[28]。学术系统内部的等级结构下，少数精英可能会主宰学术认可和资源分配过程。成熟的同行评议体系需要依托强大的学会和自律的学术共同体，遵循学科同行性、学术民主性、学术交流性、利益超越性等原则，在学术争鸣和交锋中建构学术共同体[27]。量化评价替代同行评议的根本原因在于学术生产模式的改变，随着社会分工的不断深化，知识生产在不断地去神圣化、日常化、公共性，日益成为科研生活的日常[29]，随着学术GDP竞争的加剧，科研劳动分工更加细化和复杂化，科研管理需要以量化评价去迅速识别成果的价值。另一方面，科研成果和交流形式从一种精英化的学术活动变成一种高度职业化、专门化的科研活动。科研成果从在传统无形的学术共同体的内部传播，并获得学术同行内部认可，发展到成为一种特殊的公共和社会属性的私人产品。随着学科的体系逐渐成熟，门类逐渐繁多，出现了一些跨学科的小众研究领域。学科差异的分化和复杂性，造成彼此之间难以进行公正的度量和评价[3，30]。方法转向的现实动力主要来自量化评价为科研管理带来的便利，在科研管理方面，政府治理模式的改变，技术治理逻辑更偏重绩效和问责。量化评价可操作性强，标准明确，而同行评议的交易费用过高，具有主观性和不确定性。量化评价利于政府确定科研成果的知识价值与社会贡献价值，进行科研管理和学术资源分配。在期刊评价领域，文献计量学的评价方法适应了知识生产、传播体制和科研管理体制的变化，在期刊评价领域获得发展的土壤。文献计量提供的数据具有简便、经济、易操作，少生是非，效率偏好，研究结果可测量、计算和比较。文献计量方法可以提供学科领域组织性、结构性较强的描述数据，可以降低成本，提高效率，体现评价的科学性、权威性和准确性[22]。
（二）期刊评价中的定量与定性研究
期刊的定量和定性评价法主要体现为文献计量法和同行评议法，这体现了社会科学的定量和定性研究在期刊评价中的应用。两种评价方法具有不同的方法论取向，定量与定性研究在理论假设、资料收集、论证逻辑和结果应用等方面存在差异[31]。谢立中认为，人文社会科学研究从研究范式上有实证主义和人文主义之分，研究模式可以采用定量和定性研究[32-33]。定性研究强调情境性和文化性，在理论与经验之间，理解理论的历史主义取向，对人类心智固有属性的准确描述，这是一种更深层的整体结构，不能够通过运算得到。定量研究通常是以定性的结果为基础，对社会现象变化过程，社会不同因素之间的相互作用，进行数据的分析和结论的验证，总结出具有规律性的结论。比如研究社会现象之间的变异，根据大数定律和中心极限定理，设定理论假设，验证理论的自变量和因变量的因果命题等。首先，文献计量法作为一种期刊量化评价方法，其应用于评价的研究假设和价值论在于一切外在的物态表现可以反映内容和度量分级，并通过指标化的统计分析，建立数学模型获得直观结果。在具体操作中，评价对象的内在的质量和价值都可以转化为外在的表现形式，是可测量、可记分和进行横向比较的。它通过数据的“精确化、客观性”量化评价，从一个方面展示了期刊发展的规律和特点，一定程度上规避了同行评议的“不稳定性、模糊性和权力博弈”的问题，这无疑说是一种进步。以此，文献计量学的期刊引文分析评价建构了“核心期刊”的概念，1934年，布拉德福从文献的集中和分散规律提出核心期刊的概念，继而20世纪60年代出现从引文分布角度证实核心期刊的存在，并开发了SCI、SSCI、A&HCI等数据库，期刊引证报告（JCR）[10]。归根结底，文献计量法是从整体宏观层面把握数据的趋势性和呈现纯量化和通用性的指标，如强调影响因子、转载率等。纯量化和通用性的指标体系往往会抹杀不同评价目的对评价方法和标准选择的差异性，忽视评价对象的差异和个性。其在定量研究方面，缺乏数据背后的理论假设和对数据的分析解读。期刊量化评价应按照社会科学量化研究的原则，具有自由、开放、公正、分散和随机的特点[30]，而对核心期刊的影响因子追捧却是量化数据使用的异化和功能错位。我们需要思考如何优化期刊量化评价，避免简单量化评价的弊端。在此认识基础上，一些文献计量学家则针对人文学者对简单量化评价的批判，开始探索将学科差异性和社会属性纳入文献计量的量化分析中，比如分析自然科学、社会科学和医学工程学专业不同的知识集中和分散规律，着手解决评价的同质化和一般化标准中的差异性和可比性问题，开始关注不同研究成果的测量层次。张琳等人对科学家个人成果的文献计量评价方法的研究，重点解决的如何在个体层面更准确地反映成果信息，在数据分析过程加入社会人口学属性的控制变量，关注科研成果相关的复杂因素：年龄、职业生涯、性别、研究领域、合作范式等变量[23-24]。另一方面，同行评议作为定性评价法，则更强调发挥学术共同体评价主体作用，学术同行评价可以理解量化数据背后的含义、关注指标的价值和内涵，理解它所使用的社会情境性，建构评价的理论假设和价值原则。学术期刊作为知识生产的重要载体，并不是一个天然纯净的领域，而是具有深刻的社会性、公共性、政治性和情感性。评价要认识到学术领域的公共属性和社会属性，才能建立公正、权威、科学的评价体系。一些研究指出，期刊评价要关注科研管理体制和学术评价的关系，将期刊评价放在更广阔的社会文化空间下，审视学术期刊的公共性、社会性和情感性，认识学术生态、学术活动和学术评价的复杂性[29]。科学的学术评价和期刊评价机制应该发挥学术共同体的评价主体地位，评价权力回归学术同行，认清“学术江湖”、重建学术民主[6]。培育富含创造力和凝聚力的学术共同体，推动中国学术常态发展，但这些研究往往停留在哲学思辨层面，他们指出了文献计量下简单量化评价的问题，却没有提出切实可行的定性评价方案。
二、期刊评价定性研究体系的构建：对同行评议的质化研究
（一）知识社会学视野下的同行评议
一些学者从知识社会学视角下对同行评议进行研究，这对我们建构期刊定性评价方法体系给予很多启发。20世纪60到70年代，在科学社会学研究中默顿学派开始关注科学知识、科学共同体和评议人体制的社会建构，通过实证研究法研究知识场域的评估活动认知文化的形成[26]，并关注学术评估中科学精神的普遍和特殊评价。受默顿的影响，21世纪初，学者们对同行评议的社会学研究分别关注同行评议的社会文化和价值层面，揭示同行评议制度中权力关系和认知文化[34]。其中，美国的米歇尔•拉蒙特的《教授们怎么想——在神秘的学术评判体系内》在知识社会学视野下研究同行评议的“学科与评价文化”，虽然研究对象是国家奖助金的同行专家的评审活动，但是与学术期刊的同行评议相似，在评价过程中，关注专家如何在“一流”和“多样”标准、学派差异和跨学科平衡下如何形成统一的意见，以及专家的社会背景、政治立场、学科文化、价值判断、情感因素如何介入评价过程的。评价文化体现了正式和非正式制度的约束、价值理念和标准的多元性和不稳定性、知识生产、认知建构和社会间的互动过程。《教授们怎么想》是直接从同行评议的社会性机制和过程入手，揭示神秘的学术评判体系内教授的评价标准和评价过程[35]。事实上，知识社会学探究的是知识的认知层面和社会层面的关联，以及科学家群体的学术社会生活，揭示学术生产、评价体系和学科文化的特点。在这方面，更进一步的研究是托尼•比彻和保罗.特罗勒尔的《学术部落及其领地——知识探索与学科文化》，它从知识本体论和认知论入手，探究不同学科的知识特性与学科文化关联、学术共同体（学术部落）社会特征的多样性、知识认识论的社会性、诠释性和建构性特征，将学术领域的认知特征和社会特征结合。他的学科分类体系参照科尔布和比格兰的框架，分为硬科学和软科学、纯科学和应用科学，不同知识类型特征决定其社会关联程度的强弱。人文社会科学领域的知识发展具有重复性、累进的非线性特点，学科关联结构较弱，即注重特殊性、性质和复杂性，具有个人色彩，价值观影响明显，知识标准存在争议，缺乏共识，受到外部社会环境影响大，成果表现为理解和阐释。方法上重视定性和特殊性分析，需要大量的资料铺垫。所以，评价的限制条件主要是知识类型和学科范式，如学术共同体成员的习俗、规范和认知结构，具体表现为学术部落的学术风格、学科的成熟度和社会化程度、学科的交叉性与专攻领域、学术交流和研究模式、学科内部的习俗与文化、内部的权力利益关系、学术的科层组织网络等因素[36]。布迪厄的“科学场域理论”也体现的科学的社会建构论视角，他认为，科学事实是被建构的，科学场具有相对自主性。科学场域是一个竞争性的场所，科学生产过程中的各个利益相关人的客观关系决定着科学场域的结构，核心是科学权威的垄断问题。其中，知识人获得同行评议的认可是其掌握知识生产技能，进入科学场域竞争，获得科学权威的过程。所以，一切知识生产和评价活动既是科学的又是社会的[37]。在期刊同行评议中，社会性和文化性的因素一直影响着评价活动，研究者通过实证研究还原期刊同行评议的社会性的认知文化，可以展现五光十色的学术评价世界，揭示评价活动背后的学科文化和学科知识的社会构建过程。同行评议的社会学的研究进路是一种跳出同行评议技术方法层面来去看同行评议的社会和公共属性，分析其在学术评价中的作用。对期刊评价而言，评议过程本身就是一个学术性、公共性和社会性的活动。加拿大文献计量学学者LariviereV从知识生产、科研体制、学术期刊评价的关系，指出学术期刊在建构知识结构、形成不同学派，以及理解学术发展与国家制度之间的关系的作用[38]。因此，优化期刊评价的定量和定性方法体系需要关注期刊的社会和公共属性，以及期刊发展与学术共同体成长的关联，在方法层面拓展同行评议的深度和广度。
（二）期刊评价中的质化研究：同行评议法的拓展
期刊评价具有社会性、公共性和价值意涵，评价活动是社会互动、认知形成和社会建构的过程。沿着知识社会学的框架，期刊评价的定性法主要在于将质化研究方法体系引入期刊同行评议的过程。质化研究可以理解评价过程中的学科文化和评价伦理，研究期刊同行专家评判的社会过程，理解他们所处的社会情境、价值体系、意识形态、社会制度等宏观因素对其价值判断和评价决策的影响。
1.评价中的质化研究方法体系
社会科学的质化研究和量化研究对应，陈向明于1996年最早在《定性研究方法评介》中，提出质性研究的定义、理论基础、方法体系和使用范围。她认为在定性研究的基础上可以建立质性研究方法的理论框架。质化研究是将研究者本人作为研究工具，在自然情境下，采用多种资料收集方法，对研究现象进行深入的整体性探究，从原始材料中形成结论、建构理论，通过与研究对象的互动，理解阐释其行为和意义[39-40]。质化研究的理论主要来源于阐释主义、建构主义和批判理论，它不是哲学思辨层面的空对空，知识的建构不是理论到理论的逻辑推演，而是以建构主义为前提，以文字叙述为材料归纳的逻辑。谢立中在总结国内对质化研究方法的基础上，从四个维度定义了质化研究的类型，他认为社会科学的实证主义和人文主义是一种研究范式，他们可以都采用量化或质化的研究模式，根据他们结合的方式，可以分成四类：人文主义的量化研究和质化研究、实证主义的量化研究和质化研究[33]。依此可见，质化研究分为人文主义和实证主义两种取向，早期的质化研究并没有准确的理解各种范式之间的关系。实证性量化研究具有数量化、客观化和普适性的特点，但是却无法确定变量之间的因果关系；阐释性的质化研究可以提供良好的因果解释，却具有主观化、非量化、个案特点。而韦伯的理解社会学为两者结合提供一个相对可靠的因果分析模式。质化研究方法主要的理论来源是韦伯的理解社会学，他强调在社会互动过程中去理解和阐释特定人群的社会行动的意义，并采用归纳逻辑推断因果机制。他认为主观意义、行动动机和行动后果是相互联系的。行动者主观意义或动机的内在性内在于行动者的内心世界，具有模糊性和不稳定性的特点，不能通过实证量化研究的方法获取，只能通过质化的研究方法探究。所以，阐释性的质化研究可以帮助我们揭示社会现实产生变化的原因和机制。通过个案研究或者深度访谈，研究者可以深入到行动者的意义世界，揭示社会现象之间的真实因果关系。质化研究通过社会调研的观察和归纳逻辑，可以看到数据变量的承载者和研究数据背后活生生的人，它是一种更深层次的结构化。考虑社会现象背后的无尽的索引性，立体式、情境式地呈现社会现实。熊秉纯（2001）在反思中国社会性别研究视角中，认为量化研究的普遍性和代表性不一定能揭示出制度所隐含的价值取向，关切到问题的核心，清晰地呈现出结构性的问题和个体在社会建构中的困境和挣扎。很多量表没有准确反映社会现象和人生经验，并忽视了社会情境性、社会互动场景和事件过程的社会属性。在对社会性别的研究中，他建构了比较完善的质化研究方法体系，主要包含实证研究、建构主义的归纳逻辑、个案研究和研究者的先见与反思[41]。借鉴前人对质化理论和方法研究的成果，笔者认为，建构期刊评价中质化研究方法体系可以主要包含四个方面。第一，评价的社会情境性。学术评价的过程是一个涉及情感、主体间交互影响的过程，评价人的社会身份，会潜移默化的影响他们的评价过程。专家在头脑风暴的过程中，建构多元化的评价知识，形成情境化的认知结构，面对面的各类型的专家的对话展示了学科文化和评价标准，以及在其中蕴含的权威关系。评价中蕴含价值判断，理解评价背后的理念和标准需要考察同行评议的社会建构过程，评价场域的正式和非正式制度建构了评价的多元性和不稳定性，评议过程的社会限制性因素让同行专家在差异中产生共识，并做出决策成为一件不可思议的事情。那么，专家同行评议的意见为什么不一致，他们坚持的价值理念是什么？探究评价的理念和背后的意义需要理解和阐释同行评议的社会情境性，它包括不同学术共同体所处学术场域和学科文化的特点，也包含学术生产体制和科研管理制度。它是学科文化和评价的社会属性，包含限定条件下的学科范式、学术生产交流和研究的模式、学术风格和风俗、学术合作与社交、学术生涯、学科地位和权力关系、学术竞争与合作、学术管理的科层体制，以及跨学科发展模式、学科成熟度和社会化组织结构等。社会情境和情感对评价的影响具有一定的开放性和灵活性，有一些无法预测的现象，评价者需要了解不同学科的评价文化，深入理解和阐释学科文化和专家共同体的特点，记录事件和行为发生的过程，探求因果关系，寻找结构性的关键问题和社会机制。第二，建构主义的实证研究。期刊同行评议是一个社会建构的过程，我们要以一种社会建构的视角看待同行评议的过程。中国同行评议制度主要是移植西方比较成熟的制度体系，它在中国本土化的关键在于中国的学术生产体系和科研管理体制的特点，以及中国学术发展脉络和学科文化。在西方，同行评议是一种主流的学术评价方法，计量方法仅仅是同行评议结果的参考和补充，计量方法之所以在中国风靡是因为我们还没有建构成熟的同行评议制度和合理的评价文化。所以，我们首先应该通过实证研究了解中国学术生产的现状，采用归纳法的研究论证步骤，关注评价者和参与者的话语立场，寻找当事人的价值观念，根据这些关键话语、寻找主题思想、归纳学术评价的核心问题。质化研究要实现知识建构的意义，通过阐释社会学的方法理解事件、情境、经验行为和研究对象以及赋予它的意义。采用质化研究的归纳逻辑，由资料出发，找出关键词和概念，再由关键词和概念归纳解释社会现象的原理和原则。如扎根理论的归纳逻辑、建构主义的访谈、探索性的去寻找研究问题。同行评议的过程是一个对话机制（社会互动），通过专家学术争论建构共识。评价的社会情境性建构了同行评议人之间的共享知识体系，评价活动不是个人性的行为，而成为一种社会行为。评议人要进行专业化的训练，将自己置于情境化的场域中，正确对待学科立场和社会性认知文化的影响，在普遍评价价值观和自我的学科立场之间平衡。第三，评价者的先见与参与者的反思。在质化研究体系中，研究者进入研究过程本身具有价值预设，虽然我们在社会科学研究中倡导价值中立和无涉，但研究者的价值预设都会以一定的渠道进入到知识建构的过程。陈向明认为，知识真理都受到价值观和理论的制约，比如价值体系、意识形态和社会制度，以及社会历史的发展[39]。在期刊评价中，评价活动是一种价值判断，它具有社会性和公共性，并受到意识形态的制约。在同行评议过程中，评价者不可避免会有价值介入，文献计量学家从专业的角度很难处理同行评议中专家意见的分歧，所以，他们对专家意见汇总停留在简单打分阶段，同行评议往往成为科学计量的补充和验证过程。这种研究视角对同行评议中的质化资料的浪费，不得不说实在是甚为可惜。其实，专家评议并不是追求形成一致意见，而是呈现出分歧的原因和社会机制。专家在评判过程中，虽有相对一致的学术评判标准，但是他们不免常常将自己置于所属学科的立场，维护评审专家的合法性。总有一流标准的多元性和不稳定性，以及在多元的价值标准下的取舍和平衡，比如是支持“一流”还是保持“标准多样性”的平衡[26]。对于参与者而言，他们可以从个体的经验出发，抽丝剥茧的呈现社会和社会结构对研究对象的影响。评价对象在质化研究下可以参与评价过程，他们从个体的经验出发，可以呈现完整的社会结构对个体和群体的影响、束缚和限制。通过社会调研和公众参与，评价者增强了对评价对象的了解，并站在评价对象和利益相关人的位置思考问题，反思评价者之前的个人立场地位和身份所产生的偏见和偏好。评价者的反思精神是从评价对象的当事人的经验出发，了解他们的世界，建立崭新的视角，建构知识体系。破除定量研究所坚持的价值中立的迷思，摆脱评价者的成见和偏见。第四，个案研究下的特色化评价。质化研究中个案研究具有重要的一席之地，它通过多个个案的深度分析（扎根理论）总结归纳结构性的问题，以此来了解社会运作的机制和人与人与社会的关系。个案研究本身，从方法论和认识论的角度并不强调普遍性和代表性，而是要揭示出制度所隐含的价值取向，直指问题的核心，清晰的呈现结构性的问题和个体的能动性，揭示出个案背后的权力结构和社会关系。在期刊评价中，对同行评议宏观制度分析往往需要通过个案研究了解同行评议的外部的制度环境，以及内部群体之间的互动关系和权力结构。比如每种类型的学术期刊发展的历史轨迹和成长规律充满着共性和个性的平衡，在评价过程，通用型的标准往往只能了解浅层次的发展规律，个性的特征需要在学科文化的背景下，通过个案研究了解评价文化，并建构特色化的评价体系。英国在国家层面开展的大学研究水平评估设计中，也经历了类似的方法转向，1986年早期的研究评估考核到2007年为了降低成本采用科学计量方法。但是他们发现这种科学计量方法根本无法代替同行评议，所以，在2014年推出了“研究卓越框架”，在研究产出和社会影响力方面对理论和应用型成果采用描述性材料评价，数据库检索和引用指标仅作为专家评议的参考信息，重视叙述性案例的证据支撑，强调信息的全面性和综合性[3]。这种评价非简单量化评价，它关注科学价值和内涵，以文字叙述为材料的归纳法，以建构主义为前提，重视案例在内的多样化证据，建构个案为基础的定性评估框架。
2.同行评议方法的质化拓展
同行评议的中国化和本土化要求研究中国的学术生产体制和学科文化，关注同行专家的学术社会背景和评议行为。它是一个面对面的对话和争论的共识建构过程，学科文化和专家的社会属性是评价的社会情境性，评价的过程包含了身份认同、政治立场、感情交涉等因素，每个学者都具有自己的学科立场，以确定自己的身份的合法性，很多正式和非正式的标准和外部环境发挥作用，它淋漓尽致地体现出同行评议一流标准的多元性和不稳定性，以及跨学科评价的多样化。同行评议制度下的屈从、抵制、保守和反动，比如结盟和策略性投票也体现了评价交易成本信息的不对称性和评议人的社会性特征。那么，如何看待同行评议从差异中产生共识并作出决策呢？首先，他们的统一性在哪里？专家形成统一意见非常困难，但评价有一些通识性的价值理念，它和学术理念的价值规范标准相一致，专家会共享一套相对统一的学术价值观，如对学术的神圣性的尊重。其次，他们的差异性和多元化在哪里？不同专家的学科立场不同、学科范式无法兼容、学科所处社会情境的场域不同、学术发展阶段和学科成熟度不同、民主商讨和平台沟通的程度不同。这样，他们会建构不同的评价认知和文化。再次，作为评价者和研究者如何处理？通过社会调研法进行实证研究，分析学科文化和不同差异产生的原因。建立成功有效的对话、对评议人进行专业性训练、建立制度保障和有效的行政干预，建立自律学术共同体、倡导学术诚信，维护学术评价的神圣性。最终，建构评议人之间的共享知识体系。质性研究方法在同行评议中应用的核心是通过实证研究解决了同行评议中价值层面的问题。期刊评价的质性研究方法是将质性研究框架贯穿于整个期刊评价过程中，完善同行评议的社会调研法，通过社会田野方法研究同行评议的过程和限制性条件。从评价当事人日常经验出发，尊重参与者的经验和主体性，从具体到抽象的归纳法论证步骤，可以对整个知识内涵进行再造。专家所处的社会情境性、价值体系、意识形态、社会制度等宏观因素会对价值判断和评价决策产生影响。他们如何建立标准、组织评价、是支持一流还是尊重差别和多样性？专家如何确定学术资源分配平衡的原则等。通过实证研究收集和分析收集到的质性材料，记录和分析评议过程，理解和阐释评价背后的价值理念和多元标准的社会属性，这体现了评价者的使命感和责任心。从评价角度对学术生产和评价体系的研究有利于了解学术场域的现状、学科文化和评议人的特点。质化研究有利于建立自律的学术共同体，形成信任、尊重、宽容的价值理念，维护学术评价的神圣性和权威性；建构合理的评价制度，进行有效的行政干预，建立沟通交流平台，让各利益主体进行成功有效的学术对话。
