APS:在复制和开放科学领域处于领先地位
2017年12月14日
心理科学协会(APS)促进复制和开放科学实践,作为加强心理科学所有领域研究方法和实践的更广泛努力的一部分。协会的努力可以追溯到几年前,当时很少有其他组织解决这些问题,协会开创了一些创新,这些创新后来被广泛采用。以下是APS在这些领域的一些举措。
期刊政策与计划
- APS开放实践徽章计划.认识到研究透明度是提高可重复性的核心组成部分,如果作者公开其数据或材料或预先注册他们的实验(即在研究进行之前预先指定他们的实验方法),APS会在发表的文章上奖励作者图形“徽章”。学者们已经注意到,开放实践徽章的建立与数据和材料共享率的提高有关(见基德韦尔等人,2016年;Giofrè, Cumming, Fresc, Boedker, & Tressoldi, 2017).
- 心理科学方法与实践进展.美国物理学会的最新期刊,ampp,是一个报告研究方法、实践和行为方面的创新发展的新家,并将容纳其他与可复制性相关的文章。第一期ampp定于2018年初上映。
- 注册复制报告(RRRs).APS发布了RRRs,这是一个强大的多实验室尝试,旨在复制心理学的核心发现。这些项目旨在将原始研究作者与复制团队结合起来,以发现感兴趣的现象的效应大小的精确估计。个别rr的链接见下文:
- 预注册的直接复制.APS出版了预注册的直接复制,这是先前发表在心理科学.这些研究的目的是遵循与原始研究相同的方法和程序。
- 心理科学统计顾问.我们杂志的编辑心理科学斯蒂芬·林赛(D. Stephen Lindsay)在他的编辑团队中有六位统计顾问,利用复杂的统计或方法技术审查手稿,提供额外的专业知识。
- 接受文章的StatCheck程序.心理科学编辑人员使用R程序statcheck(类似于文字处理程序拼写检查软件)来帮助发现已接受稿件中统计报告中的错误。
- 透明度和公开性促进(TOP)准则.APS是TOP指南的原始签署国,这是一份针对科学出版商和期刊的文件,鼓励考虑被认为与可复制性有关的因素,包括引用标准;18bet体育安卓下载数据、材料和代码的可用性;研究和分析计划的预注册。
- 旧金山研究评估宣言(DORA).APS是这一涉及学术期刊编辑和出版商的全球倡议的早期签署国。18bet体育安卓下载DORA于2012年由美国细胞生物学学会发起,认识到有必要改进由资助机构、学术机构和其他实体评估科学研究的方式。
期刊社论和其他文章
- “假积极心理学:数据收集和分析中未披露的灵活性允许将任何事情呈现为重要的。”这个流行的心理科学论文,引用经典,表明常见的科学实践可能会增加研究中假阳性的可能性。
- “生意不像往常一样。”在这篇社论中,过去心理科学编辑Eric Eich讨论了介绍一系列致力于加强可复制性的举措。这些举措包括改进方法报告的要求心理科学并使用扩展统计技术来评估效应大小,置信区间,并在论文中应用元分析。
- 《心理科学中的复制》在这篇社论中,心理科学编辑D. Stephen Lindsay强调了四个对提高心理科学的可复制性很重要的问题,包括低统计能力,夸大假阳性率的做法,以及对相关性的错误解释。
- 共享数据和材料心理科学。”在这篇社论中,心理科学编辑D. Stephen Lindsay讨论了该杂志的重要变化,这些变化旨在提高编辑和审稿人提交文章的频率和便利性心理科学可以访问数据和资料。
- 关于复制的特殊章节心理科学视角.这本杂志经常有专门的部分,介绍研究人员可以做些什么来提高他们工作的可重复性。金宝搏官网登录类似的章节将很快在ampp.
杂志文章和社论
- "报告表明需要提高心理科学的可重复性"APS涵盖了可重复性项目:心理学的结果,该项目表明,一些心理科学发现的可重复性低于预期。
- “强大的科学依赖于对人类科学的理解。”国家科学基金会行为和认知科学部主任霍华德·努斯鲍姆从他的有利位置讨论了他对可复制性的看法。
- APS和开放科学:我们的音乐APS执行董事名誉退休艾伦克劳特在我们的专栏188金宝搏官方网站会员杂志分享了APS自2003年以来参与提高可复制性讨论的核心内容。
- “预注册、复制和非实验研究”APS前主席Susan Goldin-Meadow谈到了科学家们对不符合预注册协议的研究被边缘化的风险的担忧。
- “预注册的七个自私理由。”在开始数据收集之前提交研究计划的职业好处的图解指南。
- “研究预注册入门。”APS期刊编辑解释了预注册的基本原理和好处。
- “设计强大研究的强大工具。”心理科学家提供开源工具来帮助研究人员确保他们的研究得到充分的支持。金宝搏官网登录
会议项目及工作坊
- 新统计:评估和研究的完整性这个由六部分组成的系列视频,在2014年APS年会上录制,以量化心理学家Geoff Cumming为主题,讨论了在分析过程中评估效应大小和置信区间的价值。
- “提高我们研究实践的可重复性。”这个由六部分组成的视频系列,在2016年APS年会上录制,Brian Nosek和Courtney Soderberg讨论了提高研究可重复性的实验室和个人研究实践。
- 年度及国际会议的专题讨论会及工作坊。APS经常在学术会议上举办关于可复制性的演讲。请访问我们的公约页面了解更多信息。
- APS约定表示存储库。通过开放科学框架(OSF)与其他科学家和公众分享您的大会演讲或海报材料。
国会和联邦活动
APS与国会合作,增加联邦机构对复制和再现性的支持。由于APS和其他组织的努力,关于可复制性的评论出现在许多国会拨款报告的报告语言中,包括以下选定的语言:
- 众议院2017财年劳工与卫生与公众服务部拨款报告(众议院Rpt. 114-600):”科学方法的可重复性。- - - - - -委员会要求在2018财年预算申请中提供最新进展情况和额外活动计划。
- 众议院2016财年劳工与卫生与公众服务部拨款报告(众议院Rpt. 114-195):科学方法的可重复性。-委员会注意到优良科学的黄金标准是实验室重现一种方法和发现的能力,因此继续关注一些已发表的生物医学研究不能轻易重现的报告。委员会期望NIH继续强调实验的严谨性和研究结果报告的透明度的重要性,以提高其他人复制这些结果的能力。
- 参议院2015财年商业-司法-科学报告(众议院Rpt. 113-448):科学研究的复制。-委员会同意这样的观点,即优秀科学的黄金标准是研究实验室重现一种方法和发现的能力,并越来越担心大量最近的研究不能轻易重现。因此,委员会很高兴NSF最近召开了一个关于“稳健研究”的综合研讨会,[1]其中包括NSF、NIH、OSTP、非政府科学组织和个人专家的代表,讨论可复制性问题的严重性,并探索促进研究的严谨性和透明度的解决方案。
- 众议院2015财政年度综合(众议院Rpt. 113-483):研究结果的可重复性。-协议要求NIH强调实验的严谨性和研究结果报告的透明度的重要性,以提高其他人复制它们的能力。该协议一致认为,良好科学的黄金标准是实验室重现一种方法和发现的能力,因此对许多已发表的生物医学研究不能轻易重现的报告表示关切。该协议预计,NIH将制定激励措施,鼓励科学家进行确认性研究,制定最佳实践指南,以促进可复制研究的开展,并制定指南,以鼓励研究方法和发现报告的透明度。此外,该协议期望nih范围内的政策和跨nih的监督来解决复制问题。该协议要求在2016财年的预算申请中更新NIH在这方面正在进行的活动、年度措施以及每年为这一努力花费或估计的资源数量。
- 参议院2013财年劳工-卫生与公众服务部拨款报告(参议院Rpt. 112-176):假阳性和重复。-委员会支持NIH努力就假阳性研究结果问题达成共识。这一努力将鼓励对先前研究的重复(和非重复)发表的政策,并促进科学知识的发展。
[1]这份报告是稳健可靠科学的社会、行为和经济科学视角APS成员Kenneth Bollen和John Cacioppo以及其他人领导了这份向国家科学基金会(NSF)提交的关键报告,该报告帮助制定了NSF可以帮助提高可复制性的方式的议程。

评论
我认为痴迷于预注册研究和进行单一研究的大规模复制项目是严重误导的。科学基本上是归纳和强制演绎假设,只是缩短了过程。将一项研究重复100次是没有用的。需要在许多研究的基础上进行变异复制,以确定单个研究是否具有初始设计的特质。
APS定期在我们的网站上开放某些在线文章供讨论。从2021年2月起,您必须是登录的APS成员才能发表评论。发表评论,即表示您同意我们的社区指导原则以及显示您的个人资料信息,包括您的姓名和隶属关系。文章评论中出现的任何观点、发现、结论或建议都是作者的观点,并不一定反映APS或文章作者的观点。欲了解更多信息,请参阅我们的社区指导原则.
请登入您的APS帐户进行评论。