总统列

为什么预注册让我紧张

这是苏珊·戈尔丁·梅多的肖像。我必须承认,当我第一次听说让心理科学家对他们的研究进行预注册的努力时(也就是说,在研究开始之前,向期刊提交一项研究的假设和一份数据分析计划),我感到一阵恐慌。从表面上看,它似乎完全不符合我的口味。我已经冷静下来,现在看到了预注册的有用性——事实上,APS一直站在鼓励预注册的最前沿,以使我们的科学更加透明和可靠。接受出版的手稿心理科学都有资格获得三个旨在促进开放科学的独立徽章(Eich, 2014)。(编者注:临床心理科学现在还提供徽章。参见第13页)。这些都是

  • 预注册胸章(用于预注册报告研究的设计分析计划,并按计划报告结果);
  • 开放材料徽章(用于公开复制研究所需方法的组成部分);和
  • 开放数据(Open Data)徽章(用于公开再现报告结果所需的数据)。

徽章制度最近被证明可以改善公开的科学实践。

但我对预注册的最初反应仍然需要仔细检查和认真对待,因为其他人可能会以同样的方式做出反应(并继续做出反应)。随便观察一下,预注册徽章是最少使用的。至少对我来说,有两件事一直让我夜不能寐。

首先是担心预注册会扼杀发现。科学不仅仅是检验假设——它还包括发现基于值得研究的现象的假设。难道我们不应该让数据来指导我们的探索吗?如果我们的研究需要在进行之前进行编目,我们如何才能有新的发现?

第二个担忧是,预注册似乎只适用于某些类型的研究——在实验室受控条件下进行的实验性研究。那么观察性研究、实地研究和有不寻常参与者的研究呢?这只是一些可能不符合预注册脚本的研究。

本月的专栏将致力于反思预先注册将扼杀发现的担忧。下个月的专栏将关注人们对预注册只适用于某一类研究的担忧。

继已故社会心理学家所罗门·阿希(Solomon Asch)之后,美国科学学会的保罗·罗津(Paul Rozin)提醒我们,进行科学研究有几个阶段。第一阶段致力于发现现象,适当地描述它们(即,找出现象的哪些方面定义了它,对它来说是必不可少的),并探索现象的稳健性和普遍性。只有在采取了这一步骤之后(这不是一个微不足道的步骤),我们才应该继续探索因果因素——在现象发生之前并参与导致现象发生的机制,以及在现象发生后导致其再次发生的功能。

预注册适用于第二阶段的假设检验研究,但很难与第一阶段的发现研究协调一致。根据Rozin和Asch的说法,心理科学已经太快地进入了第二阶段的研究。在急于解释导致这种现象的机制之前,我们需要知道一种现象在各种条件和参与者之间是稳健的、可推广的(或者以一种有趣的方式局限于一组条件和参与者)。只有当一种机制是我们认知、社会和生物自我的核心方面的基础时,理解这种机制才是有价值的。

让·皮亚杰的工作是罗津/阿希观点的一个可爱的例证,即科学首先通过发现定义我们的现象来发展。皮亚杰对儿童在学习如何概念化世界的过程中所经历的步骤的观察定义了发展心理学的领域。他发现的现象在不同的文化和群体中都是可靠的和普遍的,任何旨在解释发展的理论都需要认真对待这些现象。皮亚杰自己解释这些现象、揭示其机制的尝试,受到了严重的挑战。但他所描述的现象是一种行为,其发展需要解释,这个领域仍在努力完成这项任务。皮亚杰最初的研究——不可能预先登记,而且实验上相当混乱(下个月的专栏将详细讨论这一点)——确保了进行后续实验以探索因果机制是值得做的。

只有在发现一种现象是可靠的之后,才值得探索其因果机制——而在这一步中,仔细控制的实验室研究和统计方法是必不可少的。思考科学的阶段会让人想到一个问题,即用于假设检验研究的统计方法是否适用于产生假设的研究。如果没有,我们的领域可能需要发明新的统计来评估在第一阶段发现的现象的可靠性。

预注册是我们向自己、审稿人和读者清楚我们的假设是什么的一种方式。但我们不应该把预登记本身作为一个目标。在我们可以记录我们的假设之前,我们需要发现它们,并确保我们所寻找的机制是值得解释的现象。

参考文献

Asch, s.e.(1987)。社会心理学。纽约:牛津大学出版社。(1952年出版)

Eich, E.(2014)。生意不像往常一样。心理科学,25, 3 - 6。

Kidwell, m.c., lazareviki, l.b., Baranski, E., Hardwicke, t.e., Piechowski, S., Falkenberg, l.l.。Nosek, b.a.(2016)。表彰公开实践的徽章:一种简单、低成本、有效的增加透明度的方法。PLoS生物学,14。doi: 10.1371 / journal.pbio.1002456

罗津,P.(2001)。社会心理学和科学:所罗门·阿希的一些教训。《人格与社会心理学》第5期, 2 - 14。

罗津,P.(2006)。学术心理学的领域诋毁与过程偏好。心理科学透视,1, 365 - 376。

罗津,P.(2009)。我们应该发表、资助和奖励什么样的实证研究?一个不同的视角。心理科学透视,4, 435 - 439。

评论

(我在开放科学中心(Center for Open Science)从事预注册等工作。)

谢谢你表达对预注册的担忧。我是否可以鼓励该领域考虑平衡相互冲突的需求以减少第一类和第二类错误的相对成本和收益?也就是说,错误地声称效果是真实的风险与错误地错过和意外效果的风险?检测第1类错误率相当困难,而且很少进行。因此,我们必须尽我们所能来衡量和最小化它——例如,通过奖励重复性研究。

既然你提出的问题可能是人们最常提到的关于预注册的问题,我是否可以推荐一些创造性的解决方案来解决这些问题?例如,您可以要求使用预注册设计的报告报告一些未注册的分析,从而迫使研究人员“解开”他们的手,并允许他们挖掘数据以发现意想不到的东西。金宝搏官网登录虽然我个人并不认为这真的是必要的(在这个领域发现和发表意想不到的趋势会得到足够的回报),但那些担心预注册会扼杀创新的人或许可以推荐这种或类似的保护措施,以帮助平衡科学发现和推理中的竞争利益。

我很乐意讨论任何可以帮助更清楚地了解科学发现和报告过程的想法。

真诚,大卫

谢谢你诚实的评论。我相信你的担心是没有根据的。我过去也曾对预注册持怀疑态度(原因我就不说了),但我后来确信,它只可能提高我们的科学水平。预先登记不贬低探索性研究。恰恰相反,它增强了它,因为你可以清楚地区分研究的哪些方面是探索性的,哪些是证实性的。除了预先注册的设计之外,没有人会阻止你进行探索性分析。没有人会阻止你首先进行探索性研究,在其中寻找规律,然后在预先注册的实验中证实它们。事实上,这正是预注册的好处所在。

关于你的第二个问题,是的,可能有很多类型的研究不适用预注册。在这种情况下,没有人建议应该使用它。尽管我敢打赌,在许多情况下,在这些情况下,完全有可能预先注册一个验证性测试(同样,这并不排除在研究中包括探索性方面)。

我同意预先注册是有风险的,只有时间才能告诉我们它们是如何发展的。例如,基本的预注册(例如,将介绍和方法文档上传到OSF)的质量只能与文档中的细节水平一样好。此外,如果没有人真正检查预注册与最终研究之间的偏差有多大,那么预注册可能毫无意义。这两个问题就是为什么我认为从长远来看,唯一有用的预注册形式是通过注册报告,在数据收集开始之前首先经过同行评审。

对于注册报告,我认为存在其他风险:例如,同行审稿人可能会拒绝他们认为有太多探索性添加的研究。这绝不应该成为拒绝一项研究的理由,只要预先登记的计划是遵循的,除非最终论文提出了没有证据支持的离谱主张。同行审稿人也可能在方法的初始审查期间提出不切实际的变更要求。我认为这两个问题都可以通过良好的编辑来避免,但如何实现这一点当然还有讨论的余地。

无论如何,我都不认为这些问题足够严重,更不用说到目前为止有很多证据表明你应该有不眠之夜。

很高兴苏珊·戈尔丁·梅多在她的总统专栏中提出了预先登记的问题。但是作为《心理科学》的编辑,我想对这个专栏的两个方面发表评论。

本列中“预注册”的定义可能令人困惑。该列将预注册定义为向日志提交预注册计划。但研究人员可以预先注册一项研究,然后进行研究,然后将其写下来,然后提交研究,并指着锁定的、有日期戳的注册表作为研究已预先注册的证据。到目前为止,《心理科学》上发表的所有预先登记的研究都是这种类型的。在我自己的实验室里,我和我的学生正在预先注册我们所有的项目,但在进行研究之前,我们还没有向期刊提交提案。目前,《心理科学》杂志在数据收集之前不会考虑发表建议(尽管其他一些杂志会考虑,比如《皮质》,《心理科学展望》发表了一些重要的已注册复制报告,这些报告在数据收集之前就被接受了,《心理科学》杂志有时会与作者协商,增加一项预注册的后续研究)。18bet体育安卓下载我的观点是,(a)预注册本身和(b)在进行研究之前向期刊提交提案之间存在很大区别。看到//m.saigoncaphe.com/index.php/publications/18bet体育安卓下载journals/psychological_science/preregistration有关预注册的进一步资料。

此外,在我看来,预注册对于探索性工作(实地观察等)非常有效。诚然,在这种工作的非常初步的阶段,预演可能会非常短暂。例如,年轻的简·古道尔(Jane Goodall)可能会登记这样的内容:“我计划去贡贝溪国家公园(Gombe Stream National Park),不引人注目地观察黑猩猩,记录我对它们行为的主观印象;我没有计划好的措施,也没有先验的预测;我只是希望通过观察黑猩猩的自然栖息地来了解它们。”你可能会问:“这么模糊的预注册有什么用?”,但它之所以有价值,正是因为它有助于研究者记住(以及让审稿人和编辑知道),研究者并没有采用特定的测量方法和假设。

史蒂夫林赛

本文中提出的所有问题(并在下一专栏中标记)都在关于开放科学框架的注册报告的常见问题解答中得到了详细的解决。
https://osf.io/8mpji/wiki/4.%20Frequently%20Asked%20Questions/

具体而言,请参阅“科学创新与探索”专题部分:https://osf.io/8mpji/wiki/FAQ%205:%20Scientific%20Creativity%20and%20Exploration/

我还想补充一点,我现在已经为《皮质》和《皇家学会开放科学》编辑了超过25份注册报告,我亲眼目睹了它对探索性分析、创造力或意外发现没有任何限制——作者只需要区分探索性分析的结果和预先注册的验证性分析。我们得到的是一份不受发表偏见影响的实证报告,不受任何研究人员偏见的影响,方法上一丝不苟,统计上严谨。

事实上,我并没有压制探索性科学,我认为,注册报告提供了为数不多的(可能也是唯一的)形式之一,在这种形式中,探索性分析可以以其原始形式——探索——诚实地呈现出来,而不是被硬塞进一个不合适的验证性框架中,这种扭曲损害了理论的发展,扭曲了我们的激励结构。

读者可以在迄今为止在Cortex上发布的已注册报告中亲自看到这一点
http://www.18bet体育安卓下载journals.elsevier.com/cortex/virtual-special-issues/virtual-special-issue-registered-reports

令人遗憾的是,美国科学学会总统专栏所提出的观点显然是基于作者或编辑的任何预先注册经验,而且几乎没有尝试研究发表的反对这些担忧的观点,这些观点已经在多个论坛上公开发布了3年多。

统计工具如p值和置信区间只有在严格的验证性分析中才有意义。反过来,预注册是检查和确认所提出的分析确实是确认的极少数方法之一。以下是两个结论:
(1)从金宝搏官网登录事探索性工作的研究人员不能以有意义的方式解释其统计检验的结果。问题在于多次比较和未知比较的数量(De Groot, 1956/2014)——换句话说,就是挑选樱桃。
(2)希金宝搏官网登录望以有意义的方式解释统计检验结果的研究人员被迫预先登记他们的分析。预注册是一个人被允许接近统计测试所付出的代价。

探索性研究将永远占有一席之地,对科学发现来说是绝对必要的。但探索往往伪装成确认。例如,如果你在做探索,推论统计就不合适。我们的统计检验被设计为确认性的——你可以提前进行你计划好的关键假设检验。另一方面,如果您探索数据并选择呈现最有意义的、可解释的或重要的结果,p<。对于假阳性的风险,05基本上是没有意义的。

我对预注册也有顾虑。但我已经接受了这个想法,并主张至少为我实验室的每项研究提交一个最小的预注册:

http://babieslearninglanguage.blogspot.com/2016/07/preregister-everything.html

请注意,正如Stephen Lindsay上面所写的,我们谈论的是协议的注册,而不是在数据收集之前提交给同行评审。第二种方法在时间和精力方面要昂贵得多,而且(我相信)不一定适合每个项目。

整合到我的标准建议实践中,我现在认为预注册只不过是我们在会议和实验室笔记中非正式执行的一种实践:提前指定兴趣的结果、样本大小和预测。新技术工具的价值在于,我们可以在事后提醒自己,避免把探索性发现当作验证性假设检验而误入歧途。

毫不奇怪,我完全同意苏珊·戈尔丁-梅多(Susan Goldin-Meadow)对预先登记可能被过度夸大的担忧。只要它不是发布的条件,而不是“徽章”,我认为它在某些情况下是有用的。在我看来,探索性工作的预注册,正如其中一条评论所提出的那样,是行不通的。我自己的大部分工作都是探索性的,这种工作的一个美妙之处在于,我经常改变我应该寻找或关注的东西的想法。自由地跟随现象的引导是非常重要的。幸运的是,巴甫洛夫做到了。根据我自己的经验,我的经验很大程度上是调查研究,但不完全是调查研究,第一个探索性研究,也就是预登记的候选人,结果大多数时候是一个意想不到的试点研究,它揭示了变量,条件,没有预料到的模糊性。当你认为自己在预注册中做得“正确”时,通常情况下评论者会指出你做得并不正确。
我认为有相当一部分最有影响力的心理学研究是不可能预先登记的。它们包含惊喜。当然,在一个研究充分的领域中,如果20项研究支持一个假设,20项研究反对这个假设,那么预先登记可能会更有效。
Paul Rozin来自宾州大学


APS定期在我们的网站上开放某些在线文章供讨论。自2021年2月起,您必须是登录的APS会员才能发表评论。发表评论即表示您同意我们的社区指导原则并显示您的个人资料信息,包括您的姓名和所属机构。文章评论中的任何观点、发现、结论或建议都是作者的观点,并不一定反映APS或文章作者的观点。欲了解更多信息,请参阅我们的社区指导原则

请以您的APS帐户登入进行评论。