实践

方法:对“自我纠正”的一点帮助——复制后增强科学

心理科学所谓的“复制危机”是指许多具有里程碑意义的研究发现,其他研究人员无法在原始研究的近距离复制中证明。金宝搏官网登录这种“危机”并不是心理科学所独有的——例如,临床前癌症研究中89%的标志性发现在使用新样本进行研究时没有得到重复。此外,心理科学家还开发了一些程序并投资于提高科学透明度和可复制性的实践(例如,开放科学实践).但仍有一个有待评估的问题是,当一项研究的结果没有被重复时,会发生什么:新的研究如何影响原始研究的引用?心理科学能自我纠正吗?

在2022年的一篇文章中心理科学视角Paul T. von Hippel(德克萨斯大学奥斯汀分校)研究了复制如何影响原始科学研究的影响,并提出了一些建议,以增加复制工作的影响,推动心理科学的科学进步。

不可复制的结果对科学进步构成挑战

“不可复制结果的流行对科学进步提出了两个挑战,”von Hippel解释说。为了应对有问题的研究实践的挑战,研究人员已经建立了促进共享数据和协议并提高研究透明度的实践(例如,通过OSF,以前称为开放金宝搏官网登录科学框架)。另一项挑战涉及缓和非重复结果的影响,并确保非重复结果不被引用或视为既定结果。冯·希佩尔写道:“如果发表的发现有很大一部分是不可信的,那么新的科学家可能就像探险家出发去勘测康山脉或新南格陵兰岛的海岸一样——早期探险家宣称自己的发现,并在几十年里从一张地图复制到另一张地图,直到后来的探险家在徒劳的探险中浪费了时间,才让制图师相信那里什么都没有。”

承认和鼓励重复的努力也会影响未来研究人员赋予原始研究的可信度。“单一的复制失败并不一定会使原来的发现是错误的,但如果复制研究在研究界有一定的分量,那么一次不成功的复制尝试应该会降低人们对发现的准确性或可泛化性的信心,而一次成功的复制尝试应该会支持原来的发现,”von Hippel解释道。

上查看此功能研究透明度的新兴文化。

不成功的复制应该受到更大的影响

为了衡量心理学中重复研究的影响,von Hippel检查了它们对引用的影响。在复制失败后,原始研究的被引次数减少了吗?重复研究是否与原始研究一起被引用?

Von Hippel分析了98篇文章的引用历史,这些文章最初发表于2008年,然后在2015年发表。相对于成功的复制,失败的复制平均只使原始研究的引用量减少了5%到9%。在引用原始研究的文章中,只有不到3%的文章引用了复制尝试。这些变化在统计上与零没有差异,表明尽管存在复制努力,但它们似乎没有在很大程度上影响文献。

冯·希佩尔写道,这些发现“表明,许多重复研究的份量远远低于科学自我纠正的倡导者所希望的份量。”造成这种缺乏影响力的一个因素是研究人员使用的搜索引擎的固有偏见(例如,谷歌Scholar),它会优先考虑过去引用次数多的研究,并根据研究的“经典”程度来分配重要性。金宝搏官网登录因此,在任何搜索引擎上,新的复制研究的排名都低于原始研究,降低了它们的可见性。

增加复制影响的实用建议

冯·希佩尔提出了几个切实可行的建议,以增加复制的影响,加速科学自我纠正的潜力。

  • 要求作者在个别发现的同时引用重复研究。冯·希佩尔解释说,这“将迫使作者和读者更好地认识到特定主题的证据的重要性,并通过使人们更难忽视重复研究和增加重复研究被引用的次数来增加重复研究的动机。”
  • 加强参考数据库和搜索引擎,对复制研究给予更高的优先级。“搜索引擎可以通过文本挖掘来识别复制研究,复制研究的作者可以使用标签来让他们的贡献更容易被发现。”
  • 创建复制研究和工具的数据库,以自动检查引用研究的复制书目。例如,Retraction Watch (http://retractiondatabase.org/RetractionSearch.aspx)和OpenRetractions.com维护撤回研究的数据库,并且正在创建新的自动化工具来检查撤回项目的书目(例如,Zotero, 2019)。von Hippel提出,类似的方法可以用来增加被忽视的复制研究的发现性。

相关内容我们相信你会喜欢>


  • 心理科学视角

    《心理科学展望》是一份双月刊杂志,发表了各种挑衅性的报告和文章,包括广泛的综合评论、研究项目概述、元分析、理论陈述,以及关于科学哲学等主题的文章、关于该领域重大问题的观点文章、该领域资深成员的自传反映,甚至偶尔还有幽默的文章和小品。

  • 开放科学与方法论

    APS是透明和开放促进(TOP)指南的签署国,该指南包括八个模块化标准,每个标准都有三个严格程度不断提高的级别,以促进出版领域的开放科学实践。APS承诺

  • 新统计:估计和研究的完整性

    澳大利亚拉筹伯大学心理学和其他学科的领先学者正在努力帮助科学家提高他们进行、分析和报告研究的方式。他们提倡使用“the”

对这篇文章的反馈?电子邮件aps188金宝搏官方网站observer@psychologicalscience.org或登录评论。

参考文献

冯·希佩尔,p.t.(2022)。心理科学能自我纠正吗?复制成功和失败前后的引文。心理科学视角https://doi.org/10.1177/17456916211072525

Zotero。(2019年6月14日)。撤回项目通知与撤回手表集成https://www.zotero.org/blog/retracted-item-notifications


APS定期在我们的网站上开放某些在线文章供讨论。从2021年2月起,您必须是登录的APS成员才能发表评论。发表评论,即表示您同意我们的社区指导原则以及显示您的个人资料信息,包括您的姓名和隶属关系。文章评论中出现的任何观点、发现、结论或建议都是作者的观点,并不一定反映APS或文章作者的观点。欲了解更多信息,请参阅我们的社区指导原则

请登入您的APS帐户进行评论。