设计有力研究的有力工具
为什么研究不能重复?有几种可能的解释,但一个值得注意的解释是,许多研究的力量不足——也就是说,考虑到所调查的效应的大小,它们的样本量太小了。在一个文章在心理科学,来金宝搏官网登录自圣母大学的研究人员解释了为什么许多研究最终没有得到足够的支持,并提供了开源工具,可以帮助研究人员主动避免这个问题。
正如心理学家萨曼莎·f·安德森、肯·凯利和斯科特·e·麦克斯韦在他们的文章中所描述的那样,统计能力是“当真实效应在人群中是非零效应时,拒绝零效应的零假设的概率。”金宝搏官网登录研究人员想要相当自信,如果一个效应确实存在,他们将能够检测到——确保他们的研究有足够的力量是实验设计的一个重要组成部分。
为了做到这一点,他们计算了用目标功率水平检测特定大小效应所需的参与者总数。金宝搏官网登录研究人员不知道对人群的实际影响有多大,所以他们经常在发表的研究中使用效应值来估计它。安德森和他的同事认为,这就是问题所在,因为这种效应大小估计有几个固有的缺陷。
研究人员解释说,一个值得注意的缺陷是,由于所金宝搏官网登录谓的“文件抽屉问题”,发表的研究中的效应量可能大于真实的群体效应量。强烈支持统计显著性发现的发表偏倚会产生具有“向上偏倚”效应大小估计的文献。
基于先前公布的效应量的估计也不能解释统计推断固有的不确定性。金宝搏官网登录研究人员可以通过一个置信区间来指定效应大小的不确定性,该置信区间表示可能存在真实总体效应大小的值范围。然而,当研究人员使用已发表研究的单值点估计来确定他们自己的研究所需的样本量时,这种不确定性往往被忽金宝搏官网登录视。
安德森、凯利和麦克斯韦写道:“考虑到效应量估计中普遍存在偏见和不确定性,那些认真利用先前研究中已发表的效应量来规划样本量的研究人员,他们的实际力量金宝搏官网登录可能非常糟糕,尤其是在总体效应量很小的时候。”
不足的研究意味着研究人员可能无法发现确实存在的影响,但它们也可金宝搏官网登录能产生其他后果,包括增加文献中错误发现影响的研究比例不存在并产生被夸大的效应大小估计。在更广泛的背景下,它们也限制了研究结果的可重复性。
在Taylor和Muller于1996年最初提出的策略的基础上,Anderson及其同事概述了一个程序,使研究人员能够从一开始就通过调整发表偏倚和不确定性的效应大小估计来解释这些缺陷。金宝搏官网登录
金宝搏官网登录研究人员可以通过an免费使用这种方法开源R包(BUCSS)和基于web的应用程序他们只需要掌握一些关键信息就可以使用这些平台。
安德森、凯利和麦克斯韦总结道:“我们希望对效应大小的更准确估计将导致新的心理学研究得到更充分的支持,并将导致可复制的文献,从而激发更多的信心,减少危机。”
