注册报告制对科技期刊的影响

注册报告制对科技期刊的影响

目前,学术存在一种不好现象,即期刊编辑、审稿人和论文作者都倾向于关注阳性结果。阴性结果或零结果更难被发表,哪怕研究本身质量不差。该现象被称为发表偏差(publicationbias)[1]。此外,为了获得,很多论文数据造假行为不断发生。任何一项研究从提出问题、界定概念到选取研究方法,涉及的选择非常多,只变换1个参数,结果可能就大不相同;然而,人们在学术期刊上读到的研究成果通常是证实了研究者猜想的结论。这是由于研究者在撰写论文时经常会省略掉一些使讨论“复杂化”,特别是与自己预设观点相冲突的信息,使其结论更加肯定,进而提高的概率。上述问题被称为P值操纵[2](p-hacking,即通过篡改数据来获得显著结果)以及得到数据再假设(HypothesizingAftertheResultsareKnown,简称“HARKing”)[3]。有调查显示,62.8%的研究人员认为发表文章的压力改变了自己报道数据的方式[4]。2009年一项调查表明:受访科学家中有1.97%承认有过至少1次伪造或篡改数据的行为,33.7%承认有过其他“值得质疑的学术行为”,如对数据进行额外处理使其看起来更为精确、只公布能支持自己理论的数据、因利益冲突而隐藏某些信息等;被问及同事表现时,受访者中有14.12%称其同事有过伪造行为,72%称其同事有过其他“值得质疑的学术行为”[5]。有研究表明,超过60%以上的心理学文献中记录的研究结果不能重现,从而引发全球学术信任危机[6]。此外,全球大部分学术期刊,特别是《自然》《细胞》等知名期刊倾向于刊发那些引人注目、“有意思”、至少得出1个肯定结论的研究。有研究表明,在1990—2007年间,得出肯定性结论的论文量增加了22%,这种趋势在心理学和精神病学、经济学和商业、临床医学、药理学和毒理学等领域尤为明显。这导致了一种扭曲的激励机制:发表科研成果的最好策略是完成“真材实料”的研究后再加30%“佐料”,科学家通过“卖点”获得名望,期刊则由此获得销售收入[7]。

1注册报告制的概念与内涵

1.1概念

基于上述现象,近年来学术界正在发起一种新型的学术机制,即注册报告制(RegisteredReports)。该制度的核心理念是在研究之前,就将要进行的研究目标、过程、方法与设计向期刊公布,并接受同行评议。若同行评议通过,则论文作者只要严格遵守协议,按提交的研究进程进行研究,无论其研究结果如何,都会得到发表,且其研究数据也将一并得到共享。该制度从正向激励角度出发,使论文作者不再为了发表而做出有“显示度”的数据,从根本上回归科学研究的本质。注册报告制的雏形早在20世界60年代就已经萌生,初期主要用于医学领域的“随机对照临床试验的注册及报告规范”。随着注册报告制的发展,目前注册报告制已经在心理学、行为学、经济学以及自然科学等需要以大量数据统计为假设驱动的学科中应用。

1.2发表过程

第1阶段:研究者向期刊提交“阶段1”草稿(Stage1manuscript),内容包括论文引言(Introduction)、研究方法及开展此项研究的预实验(pilotexperiment)结果。编辑对“阶段1”草稿进行筛选,但不以所谓的研究“重要性”、新颖程度或结果明晰程度作为判定标准;初步筛选后留下的草稿将进行同行评审,若能通过评估,该草稿即获得“原则上的接受”(InPrincipleAcceptance,IPA)。第2阶段:作者严格遵守协议,按上述方法和流程开展研究,该论文即可发表。拿到IPA后,研究者开展进一步研究,并完成论文“结果”(Results)与“讨论”(Discussion)部分,与此前已提交的“引言”和“方法”汇总形成“阶段2”草稿(Stage2manuscript)。此时还需将原始数据和实验日志上传到免费开放的文件共享站点。“阶段2”草稿也需经同行评审,成功通过后论文即可顺利发表。“注册报告”模式的优点在于它将重点放在研究过程而非结果上,有IPA在手,研究者不必担心实验结果会影响,2次同行评审则保证研究步骤严格按计划开展,这能有效预防研究者伪造或篡改数据、对结果做不正当“取舍”[8]。

2注册报告制的优势与劣势

2.1优势

与传统的机制相比,注册报告制具有如下优势。1)肯定非阳性结果研究的重要性。非阳性结果的研究同样具有科学意义,非阳性结果一方面能使科学家知道研究中哪些是非相关影响因素,另一方面也能进一步改进现有研究过程。从传统论文出版机制看,该制度是不利于非阳性结果研究开展的,这在一定程度上阻碍了科学的进步。注册报告制的出现,从根本上扭转了上述激励机制,使科学界重新重视非阳性结果研究的重要性。2)减少科研资源重复投入。传统学术必须是在研究结束后,有了研究成果才能进行。一旦该研究由于设计缺陷或者研究方法错误使研究一开始便误入歧途,这将造成大量科研资源的重复投入与浪费。有些研究由于涉及庞大的资金与昂贵的设备使用,使研究人员不得不造假;而注册报告制在第1阶段就要求科研人员提供完备的科研设计、方法与流程,并且经过学术界同行评议认可才能进行,极大程度上避免了由于设计缺陷或者研究方法错误带来的科研资源重复投入与浪费。3)促进科研数据共享。传统机制下,研究者并没有动力公布每一步的研究过程以及研究过程中涉及的所有数据信息。而在注册报告制下,在第2阶段结果评议过程中,研究者必须将所有研究过程中形成的数据、实验室日志、实验人员操作流程等所有数据提供给期刊,从而表明其是严格按照第1阶段的审批结果开展研究的,这就从根本上促进了科研数据的共享。4)减少科研欺诈现象。在注册报告制第2阶段提供的手稿中,必须附有一个基本的实验室日志,说明数据收集的日期范围,以及所有作者的证明。由预先登记的研究产生的带有时间戳的原始数据文件也必须公开共享。除了这些措施,欺诈性的预注册会对作者适得其反,因为编辑可能要求在第1阶段审核后对实验程序进行更改。如果实验已经进行,即使对议定书进行微小改动也是不允许的,因为会破坏预注册的目的。除非作者愿意不诚实地对他们的实验程序所涉及的内容进一步地不诚实,否则“预先注册”已完成的研究将是一种非常无效的出版策略。值得一提的是,任何出版机制,都不能保护科学免受复杂和有预谋的欺诈行为。通过要求认证和数据共享,注册报告机制揭示了机会主义研究人员可能利用的明显漏洞,这样做排除了直接欺诈;但是,注册报告机制最重要的是通过消除数据造假的压力,重新发明假设,或者发现首先表现的不诚实来激励对科学方法的假设。5)减少审稿人窃取创意的可行性。注册报告制度只有小部分人会知道第1阶段所提交的内容,包括编辑和小部分审稿人。此外,在研究完成之前不会公布第1阶段提交的信息。同样值得注意的是,一旦获得原则上的接受,该期刊不能拒绝最终的第2阶段提交;因此,即使在审稿人急于在作者前面完成预先登记的设计的情况下,这样的策略会给故意犯罪者带来很少的职业优势。这是因为最终公布的注册报告“收到的手稿”日期是指最初的第1阶段提交日期,所以在之后收到的任何按标准提交的“收到的手稿”日期都是无效的。关于被窃取的担忧并不能阻止研究人员申请拨款或在会议上提出想法,这两者都涉及向更多的潜在竞争者想法,而不是通常会看到第1阶段注册报告。

2.2劣势

与传统的机制相比,注册报告制具有如下劣势。1)不适合所有学科领域。注册报告制目前适合于任何受假设驱动的科学领域,这些领域受到发表偏差影响严重;对于一些不需要假设驱动的科学领域,注册报告制度反而会增加的成本,并在时效性上有所降低。2)不利于使用昂贵技术或资源有限的项目。在注册报告制第1阶段提供的实验可行性报告中,必须对第2阶段研究开展所能进行实验的条件做出分析,其中就包括报告科研资金的落实以及研究成本的估算等。如果实验过于昂贵或者科研资源有限的研究人员,可能并不能让审稿专家确信其有能力开展第2阶段的实验。3)不适合短期型项目。从目前注册报告相关的平台看,平均需要9周才能达到最终的第1阶段编辑决定,不包括作者修改其提交作品所需的时间。在第2阶段,过程稍微快一点。这对于一些一年制或者过程稍短的资金资助项目来说,注册报告制度并不适合用于,除非作者可以在这些项目开始前几个月设计和预先登记。4)可能引发论文泛滥。由于注册报告制度第1阶段只需提供研究设计论证的基本材料,因此有可能会造成研究人员大量提交注册研究的现象,毕竟只是提交注册研究设计比完成真正的论文要简单。基于此,目前部分注册报告制平台或者期刊已经加强了对第1阶段同行评议的质量控制。不可否认,就算是传统的机制也难以阻止论文滥发的现象。目前注册报告制第1阶段提交的文件必须包括一封承诺文件(具有法律效力),说明所有必要的支持(例如资金、设施)和批准(如道德规范)已经到位。这在很大程度上阻止了论文泛滥。5)对审稿人工作量的影响。注册报告制下的同行评审与传统的手稿评审相比,增加了审稿人工作量以及占用更多时间,因为每篇注册报告论文的发表都要经过2轮的同行评议;但是,从另外一个角度看,传统的由于经常被多种期刊拒绝,在找到合适发表的期刊前,该论文也通过了许多审稿人审核。在实行注册报告制度的条件下,至少有2个导致这种系统性拒绝的问题,从而避免了对审稿人的额外负担。首先,第1阶段提交的编辑和审稿人有机会在数据收集之前评估实验设计,帮助作者提前纠正方法缺陷。其次,由于注册报告不能基于结果的感知重要性而被拒绝,因此注册报告制避免了传统拒稿的常见原因:结果不被认为具有足够新颖或开创性。注册报告制的整体审阅者工作量与传统出版类似或者稍多。考虑将传统稿件按顺序提交给4种期刊的情况,前3种期刊在每次评审3次后拒绝。第4种期刊在3次评论和3次重新审核后接受了手稿。总共最多12位评论者可以看到手稿,并经历了15轮审查。现在考虑如果在数据收集之前提交研究作为第1阶段注册报告,由3位评价者评估。即使经过3轮第1阶段审核加上2轮第2阶段审核,整体审核员负担(15轮)与传统模式(15轮)相同。

3注册报告制的发展趋势分析

3.1减少论文数据造假

早在2000年,美国国立卫生研究院下属的国家医学图书馆(NationalLibraryofMedicine)引进了类似注册报告制度,要求医学研究者必须预先发表研究中的一些关键设计。2015年的一项研究对比了这种制度对论文结论的影响,发现在针对心血管疾病药物和补充剂的研究中,2000年之前57%的论文报告了显著结果,引进预注册制度之后这一比例下降到8%[9]。此外,《NatureHumanBehaviour》首次发表的注册报告中,一份探讨自我觉察(self-insight)能力对生活、事业和关系质量的影响,检验了5个先前的文献中提到的假设,都得出了零结果[10]。从上述研究看,注册报告制在减少科研论文数据造假层面效果明显。

3.2受关注度越来越高

注册报告制对于基础科学和临床前沿领域而言还是一个新事物;但是随着2013年左右注册报告制的逐步完善,支持的平台与期刊逐步增加,科研人员对于注册报告制的关注与认可也越来越多。以目前最大的注册报告制平台CentreofOpenScience为例,2013年平台上的注册论文数量几乎可以忽略不计,但到了2019年4月,平台注册论文已经超过了8000篇,呈现快速上升趋势[11]。

3.3支持的期刊与数据库逐渐增加

目前全世界有204种期刊采纳了注册报告形式,包括3种BMC旗下期刊、JournalofMedicalInternetResearch旗下多种期刊、《RoyalSocietyOpenScience》《NatureHumanBehaviour》等全球著名期刊[12]。此外,Springer、Elsevier、Wiley等全球大型学术论文数据库都积极推动注册报告制的发展,例如Wiley就已经为注册报告的期刊编辑、科研人员等分别建立了操作指南。数据库商积极推动注册报告制的主要原因,在于它们通过学术论文能获取更多有价值的信息,例如实验设计、研究过程中的数据等等,这对于数据库商来说是非常有价值的。

3.4更多资助机构支持注册报告制论文

科研资助机构的支持是注册报告制发展的重要支撑,如果科研资助机构不支持,很多注册报告制论文的第1阶段都无法进行。随着注册报告论文被越来越多资助机构熟知,资助机构开始逐步接受并承担注册报告制的学术论文。有研究表明,对比传统资助的论文,科研机构对注册报告制的学术论文效果更为赞赏,特别是一些持续性滚动支持的科研基金。由于注册报告制论文的阶段性和双重同行评议制度,使滚动性支持的科研基金能更好地掌握资助团队的科研进度以及取得的科学发现效益。除NIH外,诸如儿童肿瘤基金会、英国癌症研究院、尼古丁依赖(GRAND)和尼古丁与烟草研究全球研究奖、政治与生命科学协会、前列腺癌基金会、Movember基金会等机构都已经宣布对注册报告制论文的支持,并可纳入其资助成果的认可序列。此外,在企业层面,辉瑞制药等顶级企业也宣布支持注册报告制的学术。从全球趋势看,越是高风险行业,其对于注册报告制论文越是支持,例如生物医药行业、芯片制造行业等。这些行业的研究都是高风险高投入的,注册报告制第1阶段的研究预审能很好地规避一些不必要的风险,这对于大型企业来说无疑是非常有利的。

3.5发表平台与支撑工具越发完善

注册报告制学术是一种新型的学术模式,大部分科研人员对于如何进行还不了解,而且由于注册报告制涉及预审设计、2阶段同行评议、许可研究协议签署等新制度规范,其对于刚刚接触的科研人员来说并不友好。基于此,目前已有诸如CentreofOpenScience、AsPredicted等注册报告学术论文平台来支持,其通过平台开发的支撑工具,很好地协助科研人员进行。平台也建立了相应的讨论社区与学术研讨会来回答科研人员的相关问题,并协助其联系支持注册报告制论文的期刊。更进一步,诸如CentreofOpenScience等平台也开发了协助科研人员进行搜索数据、建立研究日志、上传与共享科研数据等的工具支撑。此外,目前越来越多的数据库商也加入了注册报告制平台的开发中,以Wiley为例,其注册报告制平台已经列入公司的开发列表,从而支撑更多学术期刊应用该平台进行论文筛选与编辑。从目前情况看,大部分注册报告制论文的发表还是依托公开平台,但是随着数据库商天然的数据优势以及与期刊的合作关系,以数据库商为代表的注册报告制论文平台有可能成为未来的主流,并成为数据库商进一步掌控全球科研信息、数据与创意的渠道之一。

4关于推动注册报告机制在我国发展的建议

注册报告制虽然在全球范围的影响力还难以撼动传统的学术机制,但是其优势也是非常明显的,诸如上文所述,其对于学术造假的抑制具有显著作用。近年来,我国学术造假现象频发,诸如大规模撤稿、数据造假等事件严重影响了我国在全球的学术声誉。此外,诸如修改人类胚胎基因等科研伦理实验也严重触及了道德底线。在上述问题上,注册报告制能很好地发挥作用,特别是在第1阶段实验设计阶段,就能把一些不合理、违反科研伦理道德的研究排除。虽然注册报告制不一定对所有学科有效,但是推动其在我国科技的发展也具有积极的正面意义。从国内情况看,尚没有期刊或者相关平台进行注册报告制的尝试。基于此,推动注册报告机制在我国发展具有重要的意义。基于上述研究成果,提出如下建议。

4.1推动中文版平台开发

从全球发展趋势看,一个好用且具有大量应用软件支撑的注册报告制平台是推动注册报告制的关键基础之一。虽然,已经有CentreofOpenSci-ence、AsPredicted等平台,但是其缺乏中文语言支撑,对中国科研人员来说并不友好,而且科研数据等关键信息基本掌握在平台手中,且难以在中国本地数据中心进行数据储存,具有一定的科研风险存在,基于此,打造具备易用性,且具有本土化特色的注册报告制是当务之急。我国科研的需求巨大,而且我国有腾讯、阿里巴巴等大型互联网企业,因此平台搭建难度不大,且具备大规模推广的基础,目前唯一的障碍在于得到官方以及期刊出版方的支持。为此,建议中国科协等机构联合大型互联网企业打造具有中国特色的注册报告制服务平台。

4.2推动若干科技期刊实行注册报告制

注册报告制在我国推行需要得到具有影响力期刊的支持,虽然注册报告制并不适用于所有领域,但是基于目前我国的学术环境条件,注册报告制推广是有益处的。建议依托心理学、生物医药以及新材料等领域的若干优秀期刊,支持发展与建立相应的注册报告机制,并定期做检讨,不断完善实施机制。然后根据实践经验,将注册报告制推广到所有适合领域的期刊,进一步减少我国学术造假论文的产生。

4.3鼓励基金或资助机构支持注册报告制

从我国科研生态看,大部分科研基金与资助机构对于阳性的研究结果更为关注。由于国内科研经费竞争激烈,注册报告制在我国的发展必须要得到科研基金或者资助机构的支持才能具有生命力。目前,诸如阿里巴巴集团的“活水计划”等项目资助已经开始重视注册报告制研究论文的支持,其在资助之初就形成了形如注册报告制论文的设计审查环节。基于此,建议首先从我国自然科学基金等重大科研基金进行实践试行,从而推动注册报告制在我国的发展。

4.4推动期刊审稿专家库与国家项目专家库对接

正如上文所分析,注册报告制面临2轮的同行评议,其对于审稿专家的要求很高,无论从工作时间还是工作质量看。这庞大的评议工作量,也使注册报告制的时间基本长达1年以上,这不利于短期研究项目的开展,也不利于吸引科研工作者发表注册报告论文。基于此,建议推动部级项目专家库与期刊审稿专家库对接,例如开放科技部、基金委等专家库与若干重点期刊的审稿专家库对接,进一步扩充期刊的审稿专家数量,并提升审稿专家质量,从而进一步压缩注册报告制论文的发表时间,增加该制度的吸引力。

4.5建立项目立项与注册报告制论文的联动评审机制

注册报告制的第1阶段是对研究目的的解释以及研究设计论证工作,其基本与科研项目立项申报内容吻合;因此,以注册报告制第1阶段的同行评议审定结果作为科研项目立项的重要依据之一是切实可行的,这样一方面减轻了科研项目立项的重复性劳动,另一方面也使科研工作者一旦立项就能获得资金支持开展研究工作,提升科研效率。这样一种工作方式对于推动我国科研项目管理以及注册报告制的发展都具有很大帮助,特别是一些滚动性资助科研项目,完全可以将注册报告制论文第2阶段的同行评议结果作为滚动支持的考虑因素,从而使期刊审稿作为类似科研项目第三方评估结果来使用。

5结束语

注册报告制的产生是全球学术界对于学术论文造假的一次自我更新式实践,对全球学术机制具有重要的变革作用。虽然目前该机制还有诸多漏洞或者一定的推广障碍,但是其发展是适应全球学术研究需求的。虽然注册报告制在我国仍处于探索阶段,但是相信在不远的将来,注册报告制一定能在我国持续发展,并一定程度上帮助解决我国学术论文造假问题。