标签谢选骏全集

2024年5月9日星期四

谢选骏:先驱者是没有同行评议的


《同行评审制度的发展历史和科学家的思考》(2018-02-08 童国梁)报道:


今天,同行评审已经是论文发表出版、科研经费申请以及学术奖励的一项基本制度。评审制度起源于英国,美国是第二个采用这种办法的国家,同行评审在美国发展、完善,已作为一种学术和科学研究中行之有效的制度深深根植于美国的历史、文化和立法中。但是这种制度在美国学界也经常受到批评。有些美国学者认为同行评审看上去是个好机制,但实际上是有缺点和带倾向性的。本文将对有关情况做些介绍,供读者参考[1]。


从爱因斯坦的论文被拒发的故事说起


1915年,爱因斯坦的广义相对论论文发表,革新了自牛顿以来的引力观和时空观,创造性地论证了引力的本质是时空几何在物质影响下的弯曲。1916年爱因斯坦在广义相对论的框架内,又发表论文论证了引力的作用以波动的形式传播。时至1936年,爱因斯坦和他的助手罗森( Nathan Rosen )展开了对引力波严格解的研究,而后,他们写了一篇《引力波存在吗?》(Do Gravitational Waves Exist?)的论文寄给《物理评论》(Physical Review)。其中他们认为引力波并不存在,那是违背现行科学共识的有争议的主张。在论文提交6周后,《物理评论》主编约翰.托伦斯.泰特(John Torrence Tate)给爱因斯坦做了回复:


“在发表您的论文之前,我希望看到您对审稿人的各种评论和批评的反应告诉他。”


并附了关键审稿人的审阅报告副本。爱因斯坦很惊讶,他的论文竟会被送到外部审查。他在回复泰特的信中说,


他和罗森已经把我们的手稿寄给你了,但没有授权你在印刷之前把它给专家看。我看不出有什么理由要处理你的匿名专家的任何错误评论。基于这件事,我宁愿在别处发表这篇论文。


爱因斯坦的回信语气生硬,署名缺失,并表示他再也不会把他的研究论文发表在《物理评论》上。显然,爱因斯坦生气了。作为一个高级物理学家的自我展示,他认为他的名气会让他跳过同行评审的过程。然而,如果深入挖掘同行评审的历史,将揭示出一个更加复杂的情景。在1936年,世界顶尖科学期刊稿件评审并不是一个普遍的做法。甚至也不是《物理评论》的普遍做法。爱因斯坦的前一篇1935年发表在《物理评论》上的论文,即爱因斯坦-波多尔斯基(Podolsk)-罗森的“EPR佯谬”论文尽管带有挑衅性的反量子结论,但他们并没有收到审稿人报告。尽管这次爱因斯坦的表现不够谨慎,我们多少还得理解爱因斯坦在收到批评他的文章的匿名报告后感到的困惑。


80年后的今天同行评审是学术界和几乎每一门学科论文发表和出版的既定政策,给科学杂志投递的论文在它们进入出版科学论文资料库之前,将被审读和评论,通常还需要修改。当然,让这个故事更具趣味性的还在于这次犯错的不是审稿人,而是大名鼎鼎的投稿人爱因斯坦教授。半年后事情发生了转变,爱因斯坦对原论文作了大幅修改,在论文结尾处,爱因斯坦还专门对一位年轻的相对论专家罗伯逊(H·Robertson)教授表示了感谢:“…我们原先曾错误地诠释了我们的公式结果。我要感谢我的同事罗伯逊教授友好地帮助我澄清原先的错误。”


爱因斯坦修改后的论文正式发表在《富兰克林研究所杂志》(Journal of the Franklin Institute)上,标题也由原来的“引力波存在吗?”改为“论引力波”(On Gravitational Waves),这与他1918年那篇奠定引力波四极辐射公式的论文同名,试想一下,如果不是那位《物理评论》审稿人的拒发意见,那么爱因斯坦和罗森的那篇论文早就在《物理评论》上发表了。那不免会让爱因斯坦作为“引力波先驱”的身份有所失色,而且也必将对引力波的研究和寻找产生重大影响。这个故事可以看成是同行评审成功的范例。在这里还应该特别指出,经过多年考证,爱因斯坦在大幅修改后发表的论文中致谢的罗伯逊教授正是原来拒发爱因斯坦那篇论文的审稿人[2]。


杂志审稿的起源


今天,同行评审这个过程或者制度已成为科学生活的基本制度。那么,这种思想是如何变得如此根深蒂固的呢?这还要从同行评审制度起源和发展来认识。


关于同行评审起源问题几乎都有相同的说法。1665年英国皇家学会给其秘书亨利.奥尔登堡(Henry Oldenburg )编纂伦敦皇家学会的《哲学汇刊》( Philosophical Transactions )的许可,此杂志通常被视为世界上第一份科学杂志。奥尔登堡立刻想到收集专家对他想发表的论文的意见。如此,同行审查诞生了,此后也是科学出版坚守的一部分。是这样吗?最近的历史研究对这种说法提出了质疑。在现实中,奥尔登堡很少对发表在《哲学汇刊》的论文征询外边的意见。他紧紧地控制着杂志的内容,他有时还把自己称为“作者”。该杂志甚至还没有正式的论文提交过程。奥尔登堡只会打印他感兴趣的和他想可能是读者有价值的东西,这些不仅包括实验论文,还包括其他二手的实验报告、近期书籍讨论,甚至还包括他自己的私人信件。


虽然奥尔登堡的确是位科学出版历史上关键角色,但他不是同行评审的发明人。这个荣誉属于威廉·威厄尔(William Whewell),一位剑桥大学的博学者,也就是他创造了“物理学家”和“科学家”这两个名词。1831年威厄尔建议皇家学会应撰写书面报告在《哲学汇刊》发表。他认为这些报告应该发表在学会的新杂志《伦敦皇家学会会议录》上,从而可以达到培植丰富多彩的科学讨论和提供新的出版材料的双重目的。


皇家学会采用了威厄尔征集报告的建议,但不久就偏离了他想为公众讨论打印这些报告的愿景。有少数报告确实出现在回忆录中,但此类实践在1830年代中期就停止了。相反,学会认为评审人的意见主要有助于避免在出版物中印制任何尴尬的东西。十九世纪中叶,《哲学汇刊》的评审几乎完全是由两个秘书管理,一个在物理科学,另一个在生物科学。秘书是社会上的名人,他们都带一个助理秘书给提交《哲学汇刊》的论文安排评审人。评审人的报告被视为秘密公文用于社会的内部使用。多年来,审阅报告并没有提供给论文作者,不管论文是被接受或被拒绝。


1831建议皇家学会收集和发表关于《哲学汇刊》文件的报告。因为作者没有看到审阅人的报告,实际上没有相当于今天的常见的“修订并重新提交”的决定。给《哲学汇刊》的稿件或要么接受,或被拒绝。然而,秘书们偶尔也会鼓励《哲学汇刊》的作者在打印之前修改文章。物理学家斯托克斯(George Gabriel Stokes),曾担任该学会物理科学秘书30多年,他经常通过个人信函建议作者修改。斯托克斯会引用《哲学汇刊》审稿人有用的评论,如果他本人审阅某篇论文的话,他也会给投稿人一份由他签名的报告。


20世纪早期的评审


十九世纪末,科学团体的评审人观点开始发生了一个重要的转变。随着有关的科学论文整体质量提高,评审不再是简单地帮助保护科学团体或期刊的声誉,评审越来越被视其工作的人是为了保护整个科学论文的声誉和诚信,正如一位生理学家和议会成员迈克尔·福斯特(Michael Foster)把此说成是止住“真正的污水扔进科学纯流”的洪水。


二十世纪早期评审人本身往往属于精英科学家的小网络,那时的评审程序也不够正式,论文作者通常看不到评审报告。例如,在《物理评论》中,评审人知道编辑会把他们的评论转述给作者,并且经常提交简短的、随意的、偶尔讽刺的报告。直到1935年,《物理评论》为评审人提供关于论文的标准问卷。到了上世纪60年代为所有论文的系统评审成为一个官方政策。


以盈利为目的的商业期刊出版商甚至不可能有冷战前那样的系统评审。但如《哲学杂志》(Philosophical Magazine)或《自然》(Nature)那样的刊物则继续把内部的编辑审议工作持续到二十世纪。那些期刊很重视杂志的快速出版。许多人都是雄心勃勃的编辑,他们几乎没有理由在一个可信任顾问的圈子之外征求任何人的意见来决定一篇论文的优劣。同样的,许多英语世界中著名的杂志也很依重编辑的判断来选择内容。这样的期刊往往会计算在编辑职员中该国一些最受人尊敬的科学家的数目。例如,马克思?普朗克(Max Planck)是一份受人尊敬的物理学杂志《物理学报》(Annalen der Physik)编辑委员会的长期成员。一些物理学家质疑普朗克真会听取来自外界的意见的来处理《物理学报》的稿件。


拨款组织外部评审的故事与杂志的评审故事相似。洛克菲勒基金会等私人拨款组织在第一次世界大战后不久常常将基金的决定权交给他们信任的中层管理人员手中。与政府或科学团体联系的拨款组织更倾向于使用外部评审人,但这种做法绝不是普遍的。美国政府于1948年成立美国国立卫生研究院(the National Institutes ofHealth)时,NIH的研究资助部门自己就首先评估拨款申请,很少或者根本不向外部评审人进行咨询。相反,一些小的“研究课题”则由NIH附属的科学专家首先来审查申请提案。有关资助的最终决定权掌握在国家卫生研究院的主管——国家癌症研究所等NIH组成机构的负责人的手中。


国家科学基金会根据联邦法律于1950年成立,比NIH更依靠外部专家对申请提案提出意见。有些提案是专门为邮件评审发送的:提案的副本通过邮寄发给评审专家,这些专家则由回复邮件提交他们的意见。另一些提案则由设在华盛顿特区的专家小组评估。


然而,与NIH的情况一样,NSF资助的决定权大部分掌握在NSF雇员手中。董事们负责决定资助哪项提案申请,评审人的意见被视为他们决定中的一个重要部分,但不是NSF接受或拒绝资助的决定性因素。此外,NSF和NIH都没有向基金申请人分享评审报告。提交建议书的科学家将只收到政府雇员编写的简短摘要,说明接受或拒绝的主要原因。


冷战前,期刊或拨款组织避开评审,而把重要权力搁在编辑和主管手上,这种做法并不被视为比依靠评审更不可靠或不科学。爱因斯坦的《物理评论》冲突的故事表明,此时研究者也习惯于编辑或基金会董事的决定,而并不把外部评审视为一个优越的体系。毕竟,一个作者为什么应该相信一个匿名评审者的话,而不相信一个愿意签上自己名字并受人尊敬的编辑或项目主任呢?


公众信任与同行评议


“同行评审”这个术语是在上世纪60年代第一次出现在科学出版方面。有趣的是,这个词似乎没有起源于学术杂志。相反,“同行评审”最初被用来形容拨款组织的评审委员会——通常是NIH和医学界。


“同行评议对于不同的人有不同的含义”作为医生和研究者的欧文·H·佩奇(Irvine H. Page)在《美国医学协会杂志》(the AmericanMedical Association)的1973的一篇社论中说。他解释道:


对大多数美国医生这意味着PSRO[专业标准审查组织,审查遵守美国联邦医疗法情况](the Professional Standards Review Organization, which reviewed compliance with American Medicare laws),对英国上议院是同行审查其他同行的反公德行为,对科学团体,则是研究项目和决定受赠人的财务和未来可能的研究前途。


值得注意的是期刊审稿并不在是佩奇所做的那些定义之中,尽管科学家和编辑们在20世纪70年代为此目的逐步采纳了这样的做法。使这个术语更普遍地使用的一个插曲是1975年的一次关于NSF基金的辩论,这次辩论将突出和巩固同行评审对研究界日益重要的作用。美国科学家,特别是物理学家,在曼哈顿项目的成功中进入了冷战时期。1953年美国政府在科学上的花费比战前的数字增加25倍——而科学的公众支持也是1957年苏联发射人造卫星进入太空之后。


但是,美国科学基金的热情证明是有限的。早在1966年初,由国防部的一项研究认为,美国国防部支持的基础研究对于该部门的目标,例如新武器,尚未取得重大进步。这项研究发表在称为“项目后知(认识)”(Project Hindsight)的报告中,其结果引起了一些立法者和评论家对宽泛的科学花费的质疑。此报告是一个早期提示:科学家在冷战初期获得的社会和财务状况可能有风险。


1975年两个超级大国之间的冷战已经进入了一个相对缓和的平静时期。跟上苏联的目标似乎不那么要紧了。此外,美国遭受经济危机。几家主要产油国拒绝向美国出售石油,以报复美国在1973年在阿拉伯-以色列战争中对以色列的支持,石油和天然气供应萎缩。经济增长停滞。通胀和失业率飙升。国会迫于税收的减少和削减开支的压力,一些立法者把目光投向了美国国家科学基金会。


NSF的最杰出的对手是威斯康星州民主党的一位善于宣传的参议员威廉·普罗克斯迈尔(William Proxmire)。1975年3月,普罗克斯迈尔开始设立他著名的金羊毛奖,奖给他认为当月最糟糕的使用纳税人钱的政府项目。最早的金羊毛奖给了威斯康星大学人际吸引力的社会学研究以及心理学家罗纳德·哈钦森(Ronald Hutchinson)关于为什么人类,老鼠和猴子在压力情况下咬牙切齿的两个项目。普罗克斯迈尔呼吁NSF“离开爱的讹诈”,宣称哈钦森的“废话”“愚弄了美国纳税人。


20世纪70年代对NSF做了直言不讳的批评,还是一个尖刻的新闻稿的好手。


同时,另一个名叫约翰·康兰(John Conlan)的雄心勃勃的共和党议员开始批评NSF在其教育计划(特别是在男人方面教育)的花费,这些项目包括:一个研究课程(MACOS)和个性化科学教学系统(ISIS)。MACOS 是一个社会科学的课程,在康兰的家乡亚利桑那州70年代初期以来一直存在争议,批评者声称它提倡道德相对主义。ISIS项目中针对第四年级学生的一项计划被指责对生殖教育过于露骨。


他在寻求发现为什么MACOS和ISIS会得到政府的资助,康兰与NSF的领导发生了冲突,包括基金会的理事,H.盖福德·斯蒂夫(H. Guyford Stever)。康兰要求NSF提供评审报告的完整副本,以及评审人的名字。斯蒂夫说评审人提交的报告仍处在“默认的保密承诺”下,而开放报告的正文或审稿人的姓名违反国家科学基金会的政策。但是,这些都没有说服康兰。


我再次提醒你,我是一个国会议员,负责监督国家科学基金会。因此,我再次要求你提供我所要求的同行评议专家最初评论,而是要不经解释和完整的形式。


论及NSF基金拨款的公开辩论和私下交流导致国家科学基金会同行评议特别监督听证会于1975年7月当着众议院科学、研究和技术小组委员会的面举行。在六天的时间里,国会的提问者和见证人详细地讨论了美国国家科学基金会的同行评审过程。康兰在他的证词认为,NSF的系统把太多的决策权搁在NSF董事手中,但并没有给出足够的有分量的评审报告。他声称,让基金会负起责任的唯一办法是将评审报告连同评审人的名字一起公开。


NSF小组来到听证会,准备对批评做出回应。斯蒂夫(Stever)主任宣布,自1976年1月1日起,申请者将得到给予他们的完整评审报告的复印件,而不仅仅是一份总结报告。然而,斯蒂夫主任坚持评审人必须保持匿名以保证他们的公正。NSF领导人还表示,在未来,一个新的审计办公室将确保董事们对正面和负面的评审报告给予适当的权重——换句话说,把更多的决策权交给评审人。


听证会后,美国国家科学基金会的教育项目明显缩小,而MACOS和ISIS的资金几乎完全停止了。这样,NSF的同行评审改革安抚了凶猛的批评,至少暂时是这样,且争议也很快淡出了公众视野。此时,普罗克斯迈尔卷入了一场诉讼,金羊毛奖获奖人哈钦森控告他诽谤。最终,普罗克斯迈尔对这位心理学家进行公开道歉并从未来的金羊毛奖新闻稿中删掉了个别人的名字。


虽然大部分的批评都是针对社会科学的,但是来自不同学科的科学家们接着发生了争论。《今日物理》密集报道了听证会和美国国家科学基金会的政策变化。总编辑哈罗德·戴维斯(Harold Davis)在一篇社论中说,听证会证明“同行审查是迄今为止我们决定如何在某一特定区域分配资金的最佳手段。” (见《今日物理》,1975年9月,96页。)在同一篇社论,戴维斯继续宣布,《今日物理》将向每一位国会成员发送(特别重要或大众关注的)有关材料,阐明科学团体的内部工作。正如戴维斯所说:“在一个社会问题无法避免越来越紧密地参与科学和技术的时代,我们需要更多的同行评审,而不是更少。”


20世纪60年代和70年代似乎是同行评议思想转变的关键时期。在二十世纪中叶,外部评审只是期刊或拨款分配机构对提交稿件或基金申请可以选择接受或拒绝的多种方法中的一种。冷战结束时,同行评议是科学受人尊敬的前提条件。


NSF的争议强烈表明,至少在美国,越来越多地强调同行评审的一个原因是冷战期间科学家和公众之间关系的转变。1950年代和1960年代,基础研究和应用研究的支出大幅增长——但是,当怀疑开始蔓延到所资助的工作究竟有多少公共价值时,科学家们面临了失去公众信任和获得研究资金的前景。立法者希望由公众资助的科学能够担起责任;科学家们希望关于科学的决策留在专家手中。相信同行审查,以确保只有最好的和最重要的科学得到资金,这似乎是一种折中。


同行评议的质疑


今天的同行评审是出版任何科学论文或获得基金资助所要求的部分。然而,很少有人说这是一个完美的过程。许多观察家感叹,欺骗或错误的结果仍然登载在经过同行评议杂志的页面上。其他人抱怨的同行评审制度有利于已确立的思想和知名人士,会扼杀科学创新。2014年米歇尔·艾森(Michael Eisen),科学公共图书馆(PLoS)创始人之一,告诉华尔街日报(Wall Street Journal),科学家和非科学家需要丢弃这样的概念,即“任何杂志上的同行评议意味着一项科学工作是正确的。实际上无非是,一些(1-4)个人读了一遍,而没有看出任何大问题。”


再则,评审人员的工作一般不关乎他们的任期或晋升,这是现行同行评审制度的另一个缺点。不堪重负的科学家面临缺乏有力的激励去写认真、详细的报告,因为这超越他们的作为一个好的科学公民的最小责任。


网络出版和阅读的转变似乎提出了审阅文章的替代方法,例如允许科学家对他们阅读的文章发表评论。物理学家们长期以来依靠非同行评审的arXiv.org(美国国家科学基金会和美国能源部资助,在美国洛斯阿拉莫斯(Los Alamos)国家实验室建立的电子预印本文献库)来发现该领域最新的出版物,虽然读者可能会认为一篇发布在arXiv但未在杂志上发表的论文可能有些问题。


其他杂志也在尝试对同行评议制度进行一些修改。一个著名的开放存取期刊《公共科学图书馆期刊》(PLOS One)指示它的评审人只评判论文中科学的质量,而不是判断工作的重要性和影响。公共科学图书馆的政策背后的理由是,科学工作者将决定出版后哪些论文最重要。另一个杂志,eLife,把评审人和编辑的相互通讯后对某论文前途达成的联合决定发给作者,而不是向作者发送多个可能互相不同意的报告。


当科学团体考虑同行评议的未来时,想想它的过去也许是有益的。我们常说评审是从艾萨克·牛顿时代起一直不变的稳定的科学的一部分,但是,实际上同行评议的故事比我们通常想象的历史要短,但更复杂。它也充满了批评。早在1845年,科学评审被描述为“充满了嫉妒,仇恨,恶意,和所有苛刻的批评。” 关于审稿人无用和偏见的抱怨,这也不是什么新鲜事。


这一点也很重要即最初时的评审程序并没有发展检测欺诈和确保科学主张的准确性。威厄尔认为评审报告将激励科学讨论,而科学团体接受评审报告以确保没有明显尴尬的东西出现。论文作者,而不是评审人应对他们的论文内容负责。直到20世纪,有人认为评审人应该对科学文献质量负责,而到了冷战结束,同行评审才被认为科学上的合法性。


“我们的评审人,我们信得过”——同行评议的根本和希望


同行评审在科学界的作用从来就不是一成不变的。它的形式和功能根据科学家们从实践中的需要已经成形和改造——无论是社会公信力,或保证公共资助者知道自己的钱花得很有责任感。


一些应对措施,例如邀请评审人的回避制度,对申请人承担的基金项目数目的限制(遏制名人和单位垄断),设立专项基金(帮助年轻人或鼓励创新),对克服同行评审的弊端会起到一定作用。但是为了提振和重塑同行评审的公信力,美国科学界发出了“我们的评审人,我们相信吗?”的声音。确实是这样,一支科学家信得过的评审人队伍是提高同行评议公信力的根本和希望。本文的开头,我们把《物理评论》拒发爱因斯坦论文的故事看作同行评审成功的范例。但仔细想一想,要不是当时《物理评论》主编泰特的认真负责,敢于坚持真理向权威的错误说不,要不是审稿人罗伯逊(H·Robertson)极其认真和仔细地审读爱因斯坦复杂的广义相对论方程求解过程的话,要不是他水平高,能正确看出其中的错误,没有这些,还有什么力量能阻止爱因斯坦错误论文的发表呢?所以,我们在缅怀那些为在科学界确立同行评审制度的精英的同时,更要记住泰特先生和罗伯逊教授,正是他们的科学道德和专业精神为同行评审赢得了巨大的声望。如果有这样的人主持同行评审,那些弊端恐怕就很难现身了。


[1] 本文内容大多取自Melinda Baldwin撰写的“In Referees we Trust?”,44 Physics Today| February 2017。M·Baldwin为《今日物理》的图书编辑和《自然》:科学期刊的历史(芝加哥大学出版社,2015)一书的作者。


[2] 详见卢昌海“时空的乐章——引力波:百年漫谈(四)”,《现代物理知识》,第29卷第4期(总第172期)


谢选骏指出:同行评审制度的确立有助于建立学术规范,进而切割如何分食科研经费的大饼。


《发论文为嘛这么难?灵魂画手扒一扒“同行评审”那些事》(选题宝)报道:


科研人员的开门三件事:发文章,写基金,做实验。其中,说到发文章,发表文章前有一段时间是让人忐忑到寝食不安的,那就是论文的“同行评审”阶段,要过五关斩六将,用这张图表示再适合不过啦!


对于科研汪来说,下面的场景应该很熟悉:


每每这时,科研汪的内心总是充满一团愤怒之火:为什么发论文需要经过同行评审?!


论文同行评审,就是这一位作者的学术著作被同一领域的其他专家学者评审,主要目的是确保作者的著作水平符合一般学术与该学科领域的标准。严格的同行评审是把控文章质量,支撑科学可靠性的重要支柱。


1665年伦敦皇家学会秘书Henry Oldenburg发行了第一本学术期刊《皇家学会哲学会刊》(Philosophical Transactions)。


当时发表在期刊上的文章还不需要经过同行评审,而是直接由编辑决定。


一人就能决定文章生死,万一他没做好,皇家学会名誉受损咋办?于是,1752年,英国皇家学会成立了一个委员会,以委员会投票的方式决定投稿能不能被发表。


1831年,剑桥大学教授威廉·惠威尔(William Whewell)向皇家学会第一次提出了同行评议报告的概念,每半年由同行著名学者对发表论文进行综述,审稿报告将作为能否发表在期刊《皇家学会报告》上的重要决定因素。威廉·惠威尔也被称为论文同行评审的先驱者。


最开始的同行评审是开放式的。审稿报告需要署名,最后和文章一块发表。实施过程中发现,这样的方式阻止了审稿人给出一些批判性和消极的报告。


几年之后,同行评审开始采用单盲评审。作者不知道审稿人是谁,但是审稿人可以知道作者的信息。单盲评审的好处在于,审稿人不用担心作者的指责,能遵循自己的内心给出意见和决定。同时,知道作者的信息能够让审稿人了解他之前所做的研究,更加全面的了解和评价他的研究内容。


正如一个硬币有其正反面,对作者信息的了解一定程度上也会影响审稿人的决定,比如审稿过程中的国家或是地域歧视。审稿人可能会收到太多来自特定国家/地区的英语写的不好的稿件,并下意识地对该地区的文章产生负面的评价。不过现在单盲评审仍是现在比较经典的同行评审方式之一。


19世纪中期,同行评审已经变得很普遍。为了加强审稿的严谨性,双盲评审开始出现。编辑不会向作者透露审稿人是谁,也不会向审稿人透露作者是谁,双方都不知道彼此的身份。


双盲评审似乎比单盲评审更加公正,能够更多地避免因作者背景带来的评审偏见。但确保完全匿名评审可能很难。尤其对于自然学科来讲,经常会通过之前研究项目等内容推断出作者及其团队信息。


传统的单盲或双盲评审模式遵循匿名原则,这使得论文的评审过程缺乏透明度,出版体系易受到操纵。


2000年开放获取领域先驱Biomed Central出版商成立,论文开放获取进入蓬勃发展阶段。同行评审也进入新一轮变革。开放同行评审再一次进入历史舞台,并演化成各种形式。


2007年,开放获取科学期刊的学术出版商Frontiers成立。开始采用合作同行评审。这类同行评审会在期刊的平台上进行,作者和审稿人一起讨论如何改善论文。


相比于传统的同行评审,这种方式增加了审稿人和作者之间的交流,审稿意见变得更加建设性。但是由此引发了新的问题:作者根据审稿人的建议可能会更改文章思路,甚至是文章实验,文章修改被接收后,审稿人是否应该列为文章的共同作者。


2012年,一家名为Rubriq的公司在经过调研之后,发现每年因为冗余的同行评审损失掉的审稿时间长达15万小时。


鉴于这个结果,Rubriq提出了新的作者付费审稿模式,即交由第三方同行评审,希望可以有效减少冗余审稿时间。


2013年,生物医学开放获取期刊建立F1000Research,挑战传统的审稿模式,提出出版后同行评审的开放获取及发表模式。


新投稿在编辑部快速审核后,将立刻在线发表。审稿流程在文章发表后公开进行。审稿人信息、审稿意见及作者回复都与文章一同发表。而只有通过了评审的文章才会被正式接收,并被PubMed等数据库收录。其他没有被邀请为审稿人的科学家也能够评论这些文章,但是所有的评论者必须先公开自己的身份信息。


出版后同行评审在很大程度上节省了从投稿到发表的时间,避免一些本来很有价值的研究因审稿人主观判断失误而无法发表的情况。


发表后同行评审除了这一种形式,还有PubPeer平台采用的匿名评论。PubPeer类似于一个科学论坛,允许并鼓励科研人员匿名对于发表的论文进行评论。只要学者拥有PubPeer的账号,就可以对已发表过的论文提出意见或看法。


不过,虽然出版后评议是在互联网上公开进行的,评议意见的可见度大大提高,但是一些对论文的负面评价可能会影响作者的个人名誉和职业发展。这种匿名的发表后同行评审也给一些不负责任、心存偏见地攻击他人研究成果的人提供了机会。2014年,匿名发表后同行评审平台 PubPeer被控诽谤,美国密歇根州底特律市韦恩州立大学的癌症研究人员 Fazlul Sarkar指控 PubPeer 上的匿名劣评使他失去了工作,他想找出这名匿名留言者的身份并追究相关法律责任。


今天,不同的期刊选择的审稿模式可能不一样。不论是传统的同行评审模式还是一直在改革的评审模式,目的都是为了改进审稿流程,增加其透明度,让人们更加信任同行评审在论文质量把控中的作用,同时提高科学发表的效率。未来的同行评审模式或许还是会改变,但其改进方向应该都离不开提高透明度和效率。


参考文献:


Csiszar, A., 2016, Peer review: Troubled from the start. https://www.nature.com/news/peer-review-troubled-from-the-start-1.19763


A History of Academic Peer Review. https://blog.frontiersin.org/2016/09/15/a-history-of-academic-peer-review/


Should peer review reports be published. http://blog.scienceopen.com/2016/02/should-peer-review-reports-be-published/


Peer-review website vows to fight scientist's subpoena. News.2014. https://www.nature.com/news/peer-review-website-vows-to-fight-scientist-s-subpoena-1.16356


谢选骏指出:同行评审制度既然是分食科研经费的机制,也就不能免除动物世界的勾心斗角。


《“未经评审的预印本”和“经审阅的预印本”各自的优缺点》(Research Square 研究广场)报道:


大多数发表在科学期刊上的文章都经过同行评审。一篇经过同行评审的文章通常是由某一期刊的编委或相关领域的专家进行过评估的研究文稿。只有主编、编委和审稿专家赞同这份稿件,该期刊才能发表这篇文章。


然而,传统的同行评审和发表过程可能需要较长时间。


根据Richard Van Noorden在《自然》期刊上发表的一项题为“蜗牛般的步伐:《自然》读者等待出版所花费的最长时间”[1]的研究,在3644名研究人员中,37%的人表示他们的文章需要等待一到两年才能出版。这项研究实际上得出的结论是“让论文更快发表的关键是同行评审人或期刊编辑改变他们的工作风格。”


为了绕开这个缓慢的过程,有些研究人员倾向于将他们的研究发布到预印本平台上。


预印本的受欢迎程度一直在上升。发布预印本的便捷性和高速度将世界各地的研究人员及他们的稿件吸引至预印本平台。


预印本革新了科学信息的共享方式。研究人员可以将他们的工作上传到预印本服务器,而无需经过冗长的同行评审过程。


当然,预印本通常带有一个警告性声明:只有熟悉该领域的研究者才能准确评估文章的可信度……也就是说,大多数预印本都是“未经评审(unrefereed)”的。但实际上一些预印本已经通过了独立于期刊的评估过程,这些则被称为“经审阅的预印本(refereed preprints)”。


在这篇文章中,我们将讨论“未经评审的预印本(unrefereed preprints)”和“经审阅的预印本(refereed preprints)”各自的优缺点。


未经评审的预印本(unrefereed preprints)


直接发布到预印本服务器的研究论文通常是未经评审的,所谓的“未经评审(unrefereed)”意味着未经其他专家或“审稿人”评估。绝大多数的预印本都是未经评审的。


尽管尚未经过同行评审,“未经评审的预印本(unrefereed preprints)”也是有价值的。该领域的研究人员可以访问预印本,提供反馈和评论,而无需等到经过正式的但较长时间的同行评审过程之后。


优点VS缺点


尽早分享研究成果其他研究人员可以评论和评价您的工作 研究工作中可能包含错误研究尚未经同行评审

尽早分享研究成果其他研究人员可以评论和评价您的工作 研究工作中可能包含错误研究尚未经同行评审



尽早分享研究成果其他研究人员可以评论和评价您的工作 研究工作中可能包含错误研究尚未经同行评审

尽早分享研究成果其他研究人员可以评论和评价您的工作 研究工作中可能包含错误研究尚未经同行评审

经审阅的预印本(refereed preprints)


所谓“经审阅的预印本(refereed preprints)”,是在预印本阶段由其他研究人员审查过的预印本。研究人员可以对预印本进行评估,而不必担心或考虑这篇论文是否适合特定期刊。“Refereed preprints”一词是由Review Commons创造的,指的是从一开始就以独立于期刊的方式与审稿人评论一起发布的预印本。


值得注意的是,经过一定审查或评估的“经审阅的预印本”,并不同于经过同行评审的文章。经审阅的预印本仍然是预印本。然而,经审阅的预印本简化了同行评审过程。同行评审人可以使用来自预印本平台的独立于期刊的评审方式来进行自己的评审。


一份经审阅的预印本不仅仅是一个包含一些评论的预印本。换句话说,仅仅因为有人对该预印本留下了评论和评阅意见,并不意味着它就经过审查或评审而成为“经审阅的预印本”了。作者需要至少提交一个新版本来反映基于评论的更改。


优点VS缺点


其他研究人员能看到并评判这项工作同行评审过程可能需要更少的时间 许多人仍然认为这种审查过程不能等同于期刊的同行评审过程与任何审查过程一样,质量参差不齐,审查人员没能发现关键错误或其他问题也并不罕见

其他研究人员能看到并评判这项工作同行评审过程可能需要更少的时间 许多人仍然认为这种审查过程不能等同于期刊的同行评审过程与任何审查过程一样,质量参差不齐,审查人员没能发现关键错误或其他问题也并不罕见



其他研究人员能看到并评判这项工作同行评审过程可能需要更少的时间 许多人仍然认为这种审查过程不能等同于期刊的同行评审过程与任何审查过程一样,质量参差不齐,审查人员没能发现关键错误或其他问题也并不罕见

其他研究人员能看到并评判这项工作同行评审过程可能需要更少的时间 许多人仍然认为这种审查过程不能等同于期刊的同行评审过程与任何审查过程一样,质量参差不齐,审查人员没能发现关键错误或其他问题也并不罕见

Research Square如何评估预印本


Research Square是预印本行业的先驱。由于平台上每月发布数千份预印本,Research Square预印本平台上的每一份预印本最初都是未经评审的形式。此外,Research Square也允许其他研究人员对预印本进行评论并给出反馈。平台的这一功能和其他功能提高了预印本的透明度。


每一篇提交给Research Square预印本平台的文章都经过了筛选。我们的编辑人员会对以下提交内容进行检查:


适当的伦理和知情同意声明

是否缺少患者标识符

披露竞争利益

不恰当的、令人震惊的、有高度争议的或伪科学的主张

是否缺少图表或参考文献列表

一旦稿件通过筛选程序,它就会作为预印本发布到平台上。所有预印本的网页顶部都有一个声明:“这是一份预印本;它没有经过期刊的同行评审。预印本是尚未在期刊上完成同行评审的稿件初步版本。Research Square在发布预印本之前不会进行同行评审。在此服务器上发布预印本不应被解释为认可其作为既定信息传播或指导临床实践的有效性或适用性。提交至Research Square的内容由我们的全职编辑人员进行筛选。有关筛选过程的更多信息,请参阅我们的编辑政策[2]。”


Research Square正在为预印本创建新的标准透明度,如“方法和数据报告徽章(Methods and Data Reporting Badges)”[3]。预印本上的徽章表明该预印本符合科学报告的既定标准,作者正在展示其研究工作的高质量版本。


评论是Research Square促进预印本评估的另一种方式。Research Square的定制评论系统允许研究人员和公众在Research Square预印本平台上对预印本做出评论和评判。


所有有问题的稿件都会交由Research Square的主编进行进一步筛选。


对未来的影响


经审阅的预印本和未经评审的预印本正在缩小研究工作和读者之间的差距。研究论文不再需要花费数月或数年的时间才能被读者所看到,只需几天就可以将稿件上传到预印本服务器。


稿件审查程序可帮助作者找到适合他们研究工作的期刊。据Review Commons,“作者可以根据这份不针对期刊的稿件审查报告进行详细回复。审查报告可以帮助作者为其稿件和研究工作选择合适的期刊,从而节省他们重新调整格式和向若干期刊重新提交稿件的时间。”


像Research Square预印本平台上的未经评审的预印本和经审阅的预印本有助于更快的同行评审。审稿人可以参考平台上专家的评论来评估这项研究是否可以或适合发表。


最后的想法


您是否即将提交研究手稿?在我们的Research Square预印本平台(https://www.researchsquare.com/)上了解更多关于预印本的好处[4]以及我们的预提交工具和服务[5]。


参考来源:

[1] https://www.nature.com/articles/nature.2016.19375

[2] https://www.researchsquare.com/legal/editorial

[3] https://www.researchsquare.com/researchers/badges

[4] https://www.researchsquare.com/researchers/preprints

[5] https://www.researchsquare.com/researchers/overview


谢选骏指出:同行评审制度经常隐藏杀机——例如“上海”打头的某出版机构1983年扣下我的论文,让其关系成员剽窃抄袭、捷足先登了。这个遭遇迫使我不再投稿论文,直接撰写著作,于是,《神话与民族精神——几个文化圈的比较》诞生了。我觉得,刊物支配发表著作的片段,如果我想等待论文发表了以后获得进一步的写作条件去完成著作,那就我的著作就永远也无法完成了。所以我的著作都是在无人资助的条件下独立完成的,感谢上帝。


《开放同行评审:让科学研究更公开透明》(2021-11-04)报道:


“当你坐在山坡上,


或俯卧于森林树木之下,


或四肢湿漉漉地躺在山涧卵石滩上,


那扇看上去似乎不像是门的大门,


就会为你打开。”


这段引用自Stephen Graham于1926年出版的著作The Gentle Art of Tramping里的话,似乎可以作为一种奇异的方式来讨论开放同行评审的益处。然而,它也包含可成为开放科学运动座右铭的言论:“那扇大门,那扇不像是门的大门,就这样敞开了。”


Graham正享受着躺在广阔天空下的乐趣,任由各种想法浮现于脑海,那扇不像是门的“大门”,“打开了”。远离了实验室的长凳与研讨会议室,作者想象着能敞开心扉,接受理解开放的思想,准备好不带预期设定与偏见地与这世界接触。这种开放性也正是开放同行评审过程的核心。


开放科学与开放获取


开放科学是开放获取 (Open Access, OA) 出版的核心。在联合国教科文组织的定义中,“开放科学是促使科学研究与实验数据面向所有人开放的运动。它包括发表开放性科学研究论文,开展开放获取活动,以及总体上促进科学知识更易于发表与传播交流的活动。此外,开放科学还包括在研究过程中,使科学研究更透明和更易于获取的其他方法。这包括开放式笔记本科学、公众科学、开放源代码软件和众筹研究项目。”


联合国教科文组织阐述了开放科学运动的四大主要优势:


提高公共资助的科学研究成果的可用性与可获取性;


使实行严格的同行评审程序具有可能性;


提高科学研究工作的再现性和透明度;


使科学研究更具有影响力。


开放同行评审旨在促进这里指出的“实行严格的同行评审程序”,确保通过开放获取这一模式出版的科学研究成果在与世界广泛分享前,已受到彻底的审查和科学层面上的有效性判断。


推动开放同行评审


然而,人性决定了即使是许多有着悠久历史价值的机构也无法免于犯错或存在缺点,匿名同行评审也是如此。时任《英国医学杂志》编辑的Richard Smith于1999年宣布该杂志将废除这一做法,原因是“一个法庭中若有一个身份不明的法官,会让我们立刻联想到极权主义国家和Franz Kafka的世界。”


可能会有人争辩,认为期刊的编辑才是论文是否发表的最终决定者,而审稿人只是提供指导以帮助编辑确定观点。但重点很明显:这里的最终问题是问责制,而开放同行评审程序的支持者指出,若没有透明度,问责制将无法实现。


作为开放科学运动的支持者,MDPI鼓励支持开放同行评审过程。我们认为,它为科学界整体带来了实质性的好处,因为它有助于将科学研究置于透明的环境中,并促进了对新发现的公开讨论。


开放同行评审:模式


或许令人惊讶的是,对于一个已经存在了至少三十年的概念来说,“开放同行评审”这一词语却没有一个单一的、被人普遍接受的定义。用Tony Ross-Hellauer的话说:“对于一些人来说,这一词语指的是同行评审,其中作者和审稿人的身份对彼此公开。对于另一些人来说,它指的是研究文章与评审报告一同被发表的系统。有些人则认为是两种定义皆有。也有人认为,它描述的是一个不仅仅只有“受邀专家”能发表评论的系统。还有些人认为,它包括这些定义与其他新方法的各种组合。”


在MDPI,我们主要采用这种宽泛定义的转化形式。先是开始于一个传统的同行评审过程 (封闭的),之后将评审报告 (在某些情况下包括评审者的身份) 与作者的回复和文章一同发表。


有一点一直被广泛争论,就是如果审稿人知道他们的评论可能被发表 (无论是否包括他们的名字),他们是否会更不愿意进行评论。我们目前还未遇到这种情况,尽管相比于匿名发表的公开评审报告,签署姓名的评审报告数量仍然较低。去年,共有14,880篇签有审稿人姓名的评审报告被发表。


开放同行评审的益处


如上所述,在同行评审过程中提高开放性的主要好处之一,是具有更高的透明度和可信度。它为科学界提供了一个了解编辑评审决策过程的窗口。


透明度是科学研究的基本支柱之一,开放同行评审为研究人员提供了一个机会,可以通过完全透明的过程来指导评估他们的工作。将审稿人的评审报告与研究文章一同发表,也有助于将研究与有关背景情况一并展现,让读者也能从额外的专家意见中受益。


提高同行评审过程中的透明度也会使评审报告更具建设性,可以促进高质量的评论,也能提高评审报告与研究文章的整体质量。


对审稿人的赞誉是另一个主要好处。审查提交的论文是一个要求很高且耗时的过程,而开放同行评审使审稿人可以通过他们的工作以及向论文作者提供见解获得赞誉。


MDPI的开放同行评审


Life 期刊是于2014年便为其作者提供这一机会的先驱。第一篇公开发表的带有同行评审报告的文章是诺贝尔奖获得者Werner Arber的一篇综述,评审报告作为补充材料发表。这一做法很快被证明是一个受欢迎的选择,MDPI在同年扩展14个期刊实行同行评审。到2018年,可选择对提交的文章进行开放同行评审的做法,已被应用到MDPI全部期刊。在MDPI期刊上发表文章的作者可以选择一同发表评审报告 (开放式报告) 和作者回复。审稿人可以选择是否将自己的名字写在发表的报告上 (开放式身份)。


2020年,MDPI通过开放同行评审共发表了34,293篇文章,占当年发表文章总数的21%。然而,只有14,880份评审报告以公开评审者身份发表。这告诉我们,作者对完全透明的接受程度因学科而异。生物学和医学特定领域的作者更可能接受这种开放性。2021年,BioTech (56%)、European Burn Journal (58%)、Journal of Developmental Biology (41%)、Livers (41%)、Epigenomes (41%)、Geriatrics (40%)、Diabetology (40%)、Infectious Disease Reports (40%) 和the International Journal of Neonatal Screening等期刊,超过40%的文章是通过开放同行评审模式发表的。另一方面,在物理科学等学科中,采用开放同行评审模式的比例要低很多。MDPI在该领域的一些领先期刊,如Energies (3%)、Symmetry (3%) 和 Mathematics (3%),在2021年连同评审报告一起发表的文章只占不到5%。


为我们的作者服务


MDPI将继续鼓励作者选择开放同行评审模式,同时对他们与审稿人的偏好保持灵活性。我们的目标是尽可能提供最好的科学出版服务,确保同行评审过程严格、透明,并有利于整个科学界。


像Stephen Graham那样躺在山坡上,凝视着天空,希望着那扇不是大门的“门”能打开,这与在实验室、在野外,甚至是在科学出版社编辑部工作是截然不同的。然而,仍然存在着如此多的紧迫问题,科学都尚未能找到答案。作为一家领先的开放获取出版商,我们坚信,在解决这些悬而未决的问题的同时,我们应该尽全力促进思想和交流的开放性。开放同行评审过程正是实现这一愿景的基础。


谢选骏指出:互联网时代的到来,打破了形形色色的行业垄断——同行评审制度也不例外。


《BBRC算是同行评审期刊(Peer Reviewed Journal)吗》(王守业 2011年4月20日)报道:


这个应该是有争议的话题,先开门见山,我的观点是BBRC算不上同行评审期刊,至少算不上真正的同行评审期刊,我的理由暂且按下不表,先科普一下BBRC,毕竟很多不搞生物相关的网友并不知道这个期刊。


BBRC的全称为:Biochemical and Biophysical Research Communications,尽管该期刊的影响因子(IF)不算高,多年一直在2-3分之间,但是其在生物医学界的知名度可不算小,我想大概原因如下:1) BBRC的历史相对悠久,已有50余年的历史(当然这和百年老店Nature, Science, JBC等老牌期刊的相比,年轻多了),创刊于 1959年(是年,全国人民都在忍饥挨饿啊);2) 发表文章数相对较大,近3000篇/年,这个数字和年发文量高达近万篇的JBC与近2万篇的PLoS One自然是没法比,但是这个数字已经很可观了,作为对比,我国影响因子高居亚洲第一的Cell Research (参见我的另一博文),2010年全年的发文量仅仅只有区区173篇。正是由于其发文量大,所以尽管IF并不算高,但是其总引用次数在SCI收录的生化与分子生物学领域内期刊仍排名第5。BBRC这一点有点像演技并不特别出色的二流/三流演员,一年客串(或者就是跑个龙套)N多电视剧,和观众混个脸熟;3)更重要的是:BBRC尽管从名字来看,似乎仅仅发表生物化学与生物物理方面的论文,事实上,BBRC上面的文章,几乎涵盖所有能与生物沾点边的领域,从植物到动物,从生理到药理,无所不包,所以BBRC也就能与几乎所有搞生物医学领域的科研人员“混个脸熟”。


科学网博主牛登科老师曾发表题为“编委会自己审稿,算不算peer review”的博文, 这个问题如果是肯定的答案,我认为需要满足两个前提条件:1)编委会的学术同行需时真正的同行;2) 是“审稿”。第一个条件,没有多大的争议,我这里为何强调是“审稿”呢,这是因为BBRC的编委会的学术编辑并非是通常意义的“审稿”。一般而言,通常的同行评审都会对所评审的文章提出一些修改意见,指出文章的错误和问题,或要求补充实验以更好的佐证作者的结论,然后提出是否接受的推荐意见,而最终决定文章是否接受,由主编/副主编等(或其他头衔)拍板。但是BBRC编委会的“审稿”,却算不上真正意义上的审稿,因为,对于绝大多数的接受稿件而言,都是直接接受,没有任何修改意见,这一点不是我在忽悠,至少有如下证据:1)BBRC官方网站明确指出“Requests for revisions are rare”,也就是说要求修改的稿件非常少,这似乎显得牛登科老师的运气有点不佳,因为他发表的5篇BBRC文章居然有2篇送了外审,比例之高,在BBRC是惊人的;2)网友们的经历/经验,几个月前,丁香园论文与投稿交流版曾经就BBRC进行过讨论,有为数众多的网友参与,我没有看到任何网友提及其BBRC投稿要求修改(修改语言再投的除外);3)我自己的经验,好几年前,我的一篇BBRC投稿也是直接接受。


综上所述,我个人认为:BBRC编委会的“审稿”,只是做个决定,如果用英语说,应该是“Editorial decision”,并不能算是真正意义上的审稿,因此我认为BBRC也不是真正意义上的同行评审期刊(当然我深知BBRC和不少网友认为它是)。


本文无意贬低BBRC,我自己也曾在上面发表过文章,恶心它,不就是恶心自己吗?!我只是想根据事实,谈一下自己的看法,也欢迎您的高见。事实上,像BBRC这样的普通期刊,也有一些很出色的论文,该刊50余年来,已经发表了7万5千余篇论文,其中,截至2011年4月20日,已经有25篇论文被引用次数超过千次。另外,值得一提的是,曾与2004年由于发现了泛素介导的蛋白降解而获诺贝尔化学奖Aaron Ciechanover也曾在BBRC发表过一重要论文,标题为:“A Heat-stable Polypeptide Component of an ATP-dependent Proteolytic System from Reticulocytes”,发表于1978年,该文被视为泛素介导的蛋白降解的里程碑论文,Aaron Ciechanover能获诺贝尔奖也很大程度上归功于BBRC上这篇开创性论文。


谢选骏指出:在互联网时代,无论是否同行评审期刊,都已失去了垄断的意义——先驱者是孤独的,因此也是没有同行评议的,更加无需等候同行评审。

莫等闲,白了少年头,空悲切。


沒有留言:

發佈留言

思想主權論是理解人間分歧的框架 Sovereignty of Thoughts: The Master Framework to Decode Human Conflict 現代最大紙質百科全書 思想主權千科3億言 第1卷 300 Million Words Across Thousands Realms Sovereignty of Thoughts The Largest Modern Paper Encyclopedia Volume One

 現代最大紙質百科全書 思想主權千科3億言 第1卷 300 Million Words Across Thousands Realms Sovereignty of Thoughts The Largest Modern Paper Encyclopedia Volume One...