报告表明需要提高心理科学的可重复性

这是一个放大镜的插图。在过去的几年里,心理学家特别关注该领域研究的可重复性。同行评议的出版物经得起科学审查吗?还是一些论文的发表只是侥幸?

直到最近,研究人员还仅仅依靠直觉金宝搏官网登录来估计再现性。一个新的报告发表在科学然而,他试图对心理科学的可重复性提供第一个经验估计。根据这份报告,在100个样本中,只有不到一半的心理学研究是重复的。

该报告由APS研究员协调Brian Nosek(弗吉尼亚大学)和开放科学中心在弗吉尼亚州夏洛茨维尔,招募了270多名研究人员,他们试图重现2008年发表在心理学期刊上的100项研究结金宝搏官网登录果。18bet体育安卓下载

然而,仅仅因为一项研究没有被重复,并不意味着它是错误的。当复制没有检测到真正的效果,或者当复制的方法在重要方面与原始研究的方法不同时,有时会发生复制失败。

在选择用于复制项目的100项研究中,有40项发表在APS的旗舰期刊上,心理科学。复制小组尽可能地与原始研究的作者合作将他们的数据和分析发布到网上供公众评估。这组复制花了3年多的时间才完成。

复制小组的发现令人震惊:总体而言,97%的原始研究报告具有统计学意义p值低于0.05,但只有36%的重复研究发现有统计学意义的结果(p< . 05)。此外,尽管最初研究中的效应大小是中等的,平均而言-皮尔逊r= .40——在重复实验中,效应的大小为r= 0.20 -是原件的一半大。

诺塞克和同事们还评估了心理学子领域的差异。认知心理学研究的重复可能性是社会心理学研究的两倍,但这两个子领域在重复尝试中都显示出相同的效应大小下降。研究人员金宝搏官网登录还搜索了与复制尝试是否成功或失败相关的因素。成功与否与证据的原始强度有关,但与复制团队的经验或专业知识等因素无关。

根据Nosek的说法,许多研究未能重现,因为科学家发表研究成果会得到奖励,而一些发现更有可能被接受发表。

他最近在美国国家科学基金会(National Science Foundation)的一次演讲中表示:“我更有可能发表一个积极的结果,而不是一个消极的结果;更有可能发表一个新颖的结果,而不是一个已登记的重复结果;更有可能发表一个非常干净的故事,而不是一个有很多漏洞的故事。”“因为我们受到激励,想把它变成一个新颖、积极、干净的故事,所以我和我个人的成功有很多理由想办法把它变得尽可能美丽,即使这让它看起来和实际证据大不相同。”

Nosek在宣布报告结果的电话会议上强调,该项目的发现可能意味着心理科学需要更多地关注提高可重复性。

“但我并不认为这个故事悲观,”他补充说。“这个项目是科学的一个示范,展示了它的核心品质之一——自我纠正。”

事实上,美国心理学会在鼓励心理科学领域的自我纠正方面一直处于领先地位,美国心理学会执行主任艾伦·克劳特在同一次电话会议上评论道。

“我们已经改变了文章发表的方式心理科学他说:“这些变化鼓励更大的透明度和更强有力的统计分析,并为预先登记假设和共享材料和数据提供特别认可。”“APS在可复制性问题上也处于领先地位。”

表彰开放科学实践的徽章计划已注册复制报告,和透明度及公开指引,这是APS在这一领域所作努力的三个例子。《科学》杂志的临时编辑说,这些项目可能会提高心理科学的可重复性心理科学斯蒂芬·林赛在一份声明中说。

“这是令人兴奋的预测未来复制这个非凡的项目,说,8年,测试文章的可复制性发表在心理科学2016年;如果我们的工作做得正确,那么复制率将大大提高。”

“复制是科学的基本组成部分——它是最好的科学,”克劳特回应道。

评论

将结果归类为“不可复制”有许多标准。在当前的项目中,如果原等效值小于0.05,则认为p值为0.06是足够的。或者,人们可以通过结合两项研究来增加原始实验的力量,并达到68%的平均元分析复制标准。当然,正如Brian Nosek所指出的那样,考虑到各种偏见,这个值可能是非常乐观的。然而,在评估本研究的有效性时,应考虑整个复制标准范围。
我强烈推荐沃尔夫冈·斯特罗布和迈尔斯·休斯通在最近一期《泰晤士高等教育》上发表的一篇批判性评论。

https://www.timeshighereducation.co.uk/opinion/reproducibility-project-what-have-we-learned


APS定期在我们的网站上开放某些在线文章供讨论。自2021年2月起,您必须是登录的APS会员才能发表评论。发表评论即表示您同意我们的社区指导原则并显示您的个人资料信息,包括您的姓名和所属机构。文章评论中的任何观点、发现、结论或建议都是作者的观点,并不一定反映APS或文章作者的观点。欲了解更多信息,请参阅我们的社区指导原则

请以您的APS帐户登入进行评论。