APS和开放科学:我们耳朵里的音乐

艾伦·g·克劳特

从去年夏天发表在《科学》(Science)杂志上的关于心理学研究可重复性的雄心勃勃的项目的大多数新闻报道中，人们不会知道，在美国心理学会的领导下，心理科学已经率先解决了一个与大多数(如果不是全部)当代科学高度相关的问题。最近从APS执行董事的职位上退休的艾伦·g·克劳特(Alan G. Kraut)在担任APS负责人期间曾大力推动APS解决这一问题，他对这一重要问题的进展进行了轻松的内幕描述。

——aps总裁C.兰迪·加利斯特尔

还记得那些音乐背后VH1的档案?你知道的，就是那些讲述一些经典摇滚乐队的职业生涯的书——啊，那些早期的成功，不可避免的职业生涯中期的挫折(太可悲了)，然后(啪!)最终的胜利?嗯，这就是我回顾APS和开放科学的历史的方式——就像一个经典摇滚乐队的轨迹，除了这里我们谈论的是研究的透明度和可重复性。(好吧，也许不是酸岩石)。

今天，我感到自豪的是，当科学家们的组织在寻找一个在研究和出版中促进良好数据实践的团体的例子时，他们首先想到了APS。我在华盛顿参加过许多会议，我们的卓越表现(格莱美奖?)——在国家科学基金会(NSF)，在国家卫生研究院(NIH)研究所所长的演讲中，在国家科学院的委员会中。我们在复制上开发的语言甚至被写入了国会报告。但是(提示俗气的小提琴音乐)……事情并不总是这样的。

当然，我们几乎从一开始就取得了一些成功。早期关于使用非传统统计来更好地详细说明效应大小或概率的APS会议一直是SRO。比尔·埃斯蒂斯，我们旗舰杂志的创始编辑，心理科学他曾经哀叹0.05显著性检验的问题本质，即使这是该杂志早期的主要内容。当詹姆斯·卡特心理科学”2003年，他尝试了不同的要求统计数据的方式。而且，随着时间的推移，你可以根据其方法是否旨在透明度来预测任何APS期刊中下载最多的文章，即使这篇文章对当前的做法持批评态度。(想想p-黑客，如西蒙斯，尼尔森和西蒙森心理科学关于“假积极心理学”的文章)

但是，APS将开放科学作为组织优先事项的努力真正开始于2011年12月与已故的APS研究员理查德·m·苏兹曼(Richard M. Suzman)共进午餐，他当时是美国国家老龄化研究所(NIA)社会和行为科学部主任;时任美国国立卫生研究院行为与社会科学研究办公室(OBSSR)主任的Robert M. Kaplan;和我。(还记得奶油是怎么开始的吗?还是只有我这么想?)一般性的讨论集中在研究方法上，使已发表的结果具有可信性。（现在它让你想起了奶油，对吧?)

NIA正在考虑如何发布其健康和退休调查中的大量数据以进行重新分析。苏兹曼想知道他是否应该指导期刊编辑限制肯定会出现的误报。毕竟，如果你在一个庞大的数据集上运行数千个测试，你一定会发现一个偶然达到统计显著性的特定数字。他说:“你知道，这些都是最先发表的。”与此同时，卡普兰刚刚开始分析美国国立卫生研究院的临床试验，他发现了一个奇怪的发现:在美国国立卫生研究院要求预先登记假设之前进行的试验往往具有显著性，而在此之后进行的试验往往没有显著性。我分享了我的观点，以及我从我们的成员那里听到的关于倡导科学透明度的许多其他观点。心理科学家之间的讨论似乎无处不在——在邮件列表上;在会议上;在APS编辑、董事会和委员会成员以及其他领导人之间——讨论诸如“文件抽屉问题”、相信(或怀疑)社会启动效应，以及如何发表重要的重复(和非重复)等问题。

但那顿午餐也发生在一个低迷时期，当时我们的领域曝光了几起现在众所周知的欺诈案件——迪耶德里克·斯塔佩尔的案件是最引人注目的——毫无疑问，如果有更好的报道方法，这些案件会更早被发现。别忘了，在同一时期，的纽约时报以及其他媒体对发表在权威心理学杂志上的关于预知(即超知觉)的研究进行了恰当的嘲笑，该研究经过了(严格的?)同行评审。一些人认为心理科学濒临崩溃——虽然还没有洋子解散披头士乐队的悲剧那么严重，但也已经足够让我们中的许多人想要采取行动了。我们知道心理科学可以做得更好。我有写得一样多。

所以，在吃了几顿额外的午餐(嘿，乐队总要吃饭的!)和几次错误的开始之后——任何回归都是正常的——我们于2012年6月在APS总部组织了一次小型会议。出席会议的有领先的心理学研究人员——美国心理学会前主席亨利·l·罗迪·罗迪格三世;金宝搏官网登录诺贝尔奖得主、美国科学院威廉·詹姆斯研究员丹尼·卡尼曼;以及APS研究员布莱恩·诺塞克、哈尔·帕什勒和乔纳森·斯库勒。芭芭拉·“博比”·斯派曼，当时的编辑心理科学视角此外，OBSSR (Kaplan)、NIA (Suzman、Lis Nielsen、Jon King)、国家医学图书馆(Deborah Zarin)和国家精神卫生研究所(Stefano Bertuzzi)的代表也出席了会议。我们开始探索与复制和假阳性结果报告相关的问题。我们开始为研究人员、期刊编辑和资助机构制定策略，以纠正这些问题，从行为科学开始。金宝搏官网登录那次会议之后，2012年9月又举行了一次规模较小的会议，当时的《纽约时报》主编埃里克·艾希(Eric Eich)也参加了会议心理科学，并专注于APS可能利用我们自己的期刊来领导更广泛领域的具体方式。18bet体育安卓下载

这些讨论产生了一些变化——有些是自愿的，有些不是心理科学。我们寻求扩大方法和结果的报告，并详细描述如何计算样本量。我们鼓励作者报告所有变量，给研究人员注册实验的机会，开始为好的实践提供“徽章”，等等。金宝搏官网登录APS成为第一个以这种方式认可开放实践的组织。(阅读Eich的社论，“生意不像往常一样，”为了更完整的描述;现任临时编辑史蒂夫·林赛(Steve Lindsay)在此基础上再接再厉。)

2012年9月的会议还继续讨论了最初打算提出的复制报告倡议心理科学最终的结果是心理科学视角在首位。美国科学学会的丹尼尔·西蒙斯(Daniel Simons)在会前就一个复制项目找过我，他也参加了会议，并与亚历克斯·霍尔库姆(Alex Holcombe)成为联合编辑，现在还包括我们的詹妮弗·塔克特(Jennifer Tackett)已注册复制报告倡议。2013年，来自10个国家的31个实验室申请参与第一个复制项目，数量远远超出预期。我们知道我们手上有个杀手。

我们还委托“教程”对科学家进行效应大小、置信区间和相关主题的教育。一些教程在APS年度大会上作为研讨会定期运行。APS研究员Geoff Cumming的六部分在线课程，“新统计:估计和研究的完整性，”是在线免费提供的教程之一。卡明写了一本书和一个很受欢迎的开放获取心理科学文章同样的话题。

2012年11月，斯佩尔曼发表了一篇完整的视角问题"心理科学与研究实践中的可重复性"我们免费分享了这个问题，它在最初的几周内就被访问了35万多次。目前，该软件的全部或部分下载次数已超过66万次。(白金!)这期特刊也受到了社会媒体和传统媒体上科学作家的广泛关注。(好吧,不是广告牌)。从那时起,视角已经发表了一些相关的文章，所有这些都是免费的，所有这些都有大量的下载量。

美国科学学会的开放科学成就不胜枚举:我们组织了一个为期半天的跨领域“迷你会议”“建立更好的心理科学:良好的数据实践和可复制性”在2013年APS年会上第二天，我们举行了一次非正式聚会，大约有30位编辑和副编辑、高级研究人员以及来自NSF、NIH和总统科技政策办公室的代表，进一步讨论这些问题，并开始就下一步建立共识。金宝搏官网登录根据对这次会议的反应，我们坚信，在协商一致-发展进程中，类似的会议将是有益的，甚至是必不可少的。另一场正式和非正式的开放科学活动在华盛顿举行欧洲认知心理学学会(ESCoP)会议2013年晚些时候，再次受到了热烈的欢迎。从那时起，我们举行了其他会议，并就APS正在做的事情做了许多介绍。当机会出现时，我们继续分享我们的活动。

例如，美国科学院前任主席约翰·卡乔波帮助组织了2014年美国国家科学基金会的音乐会……呃，研讨会“稳健可靠科学的社会、行为和经济科学视角”，APS资助了这个项目。那次会议引发了另一次会议，会议的重点是期刊如何促进开放科学。18bet体育安卓下载这次期刊18bet体育安卓下载会议是最近刚刚成立开放科学中心(COS)的布莱恩·诺塞克(Brian Nosek)和《科学》杂志(The journal of Science)主编马西娅·麦克纳特(Marcia McNutt)的创意科学。在开放科学运动的发展中，可能没有比Nosek更重要的人了，他也是早期APS会议和项目的关键人物，COS已经成为科学透明度的重要力量。(充分披露:我是COS董事会成员，APS是由劳拉和约翰·阿诺德基金会通过COS资助的，用于我们自己的复制工作。阿诺德也是COS的主要资助者，本身就是这场运动的重要力量。)

Nosek和McNutt于2014年11月在COS办公室以“透明度和开放性促进(TOP)委员会”的名义召开了关于通过期刊政策开放实践的会议。我和斯派曼、埃奇都是委员会的成员。该委员会于去年6月公布了其透明度和开放性促进(TOP)指导方针科学。受Eich提交的指导方针的影响心理科学在美国，TOP指南旨在鼓励所有科学研究领域的透明度和开放性。在指导方针中，心理科学“开放数据”、“开放材料”和“预注册”的首个徽章被作为期刊政策鼓励采用开放实践的例子——APS和我们的期刊确实在这方面处于领先地位。18bet体育安卓下载事实上，在某一时刻，40个(哎呀!)左右的作者中的一个科学一篇文章建议，“我们为什么不直接说，‘像美国人那样做’呢?心理科学!’吗?”另一个事实:14个参考文献中有5个科学这篇文章来自APS期刊。18bet体育安卓下载(想象一下，如果这是一张专辑，APS的版税会是多少!)

APS致力于在组织、期刊和资助机构之间制定和传播政策和实践，以促进数据共享、合理的研究实践和可重复性。18bet体育安卓下载在过去几年中，我们在这些方向上迅速采取了具体步骤，并计划在不久的将来采取其他几项举措。所以注意这个空间。谁知道呢?我们也许可以重新组建乐队!