当研究不能复制时:案例研究

过去几年社会科学研究发生了重大变化，主要是因为许多研究在科学家试图复制时无法复制.

研究的复制是科学过程的核心.当科学家无法复制他人的工作时，我们无法知道原始工作是否值得信赖，或者发现是偶然发现的，或者仅适用于某些人群而不适用于其他人群.

学者将这种现象称为“复制危机"，这促使科学家的工作方式发生了重大变化.例如，许多同行评审期刊要求科学家提供有关所用方法、样本和统计数据的更多详细信息，以便其他人可以更轻松地重复他们的研究.

制定的另一个标准是数据和统计模型的开放共享，科学家们用它们来测试他们的假设.过去，科学家会要求其他学者直接分享这些信息，而且他们经常这样做.

今天，科学家们在开放科学框架等网站上提供这些材料，以便任何人都可以访问这些信息.最近，科学家们开始在发表前分享他们的数据.这些变化提高了正在进行的科学工作的透明度，并使其更容易复制和验证他人的研究.

但是如果不遵循开放科学实践会发生什么?

有时，学者会利用研究来倡导政策和法律的变化.有必要仔细检查进行此类研究的学者所做的研究和结论的可信度.如果调查出现问题，可能会对许多人的生活产生负面影响.

如果学者的工作不透明会怎样?另一位科学家如何复制立场来确定得出的结论是否可信?

这个问题最近出现在 Joan Meier 及其同事发表的一篇论文中.该论文作为学生编辑的法律论文系列的一部分发表，并受到了媒体的广泛关注.作者主张使用这篇论文来改变有关分离和离婚家庭的公共政策和法律.

Meier 得出的结论是，女性在法庭上的虐待指控往往是不可信的，因此她们和她们的孩子都面临着父亲虐待的危险.这些结论令许多家庭暴力学者非常担忧.他们促使心理学教授 Jennifer Harman 和法律学者 Demosthenes Lorandos 仔细研究这些学者是如何得出结论的.

他们的发现非常令人不安——关于作者用来收集研究样本的方法的细节很少.在描述 Meier 的团队如何分析他们的数据时，他们写道，他们“审查了 [统计] 输出，并通过多次迭代，对特定分析进行了改进、纠正和放大."这句话表明作者使用了一种称为“p-hacking"的数据挖掘技术，当有人操纵他们的分析直到他们得到他们想要的具有统计意义的结果时，就会发生这种情况.

结果不可靠，而且如果这样做是为了提高人们对结果“应该"的期望，也是不道德的.更麻烦的是，论文中没有报告统计模型或表格，供审稿人或潜在的复制研究团队查看作者做了什么.

Harman 和 Lorandos 希望重复这项研究，特别是考虑到这些发现对受家庭暴力影响的家庭的重要性.当被直接询问时，迈耶拒绝向他们提供学习信息(有关此通信的详细信息，电子邮件是公开的).

根据论文中的描述，Harman 和 Lorandos 发现了该研究的研究设计存在三十多个问题，他们在最近发表在 .

对 Meier 等人的精确复制. (2019) 研究是不可能的，因此 Harman 和 Lorandos 确定了 Meier 等人.团队在论文中得出的结论，提出了可以检验这些结论的假设，然后制定了一项研究来检验这些假设.

他们从头到尾都使用了开放科学实践(所有细节都可以访问)，但他们未能找到任何支持 Meier 和她的团队得出的结论. Harman 正在进行另一项研究，以使用另一个样本检验假设，看看结果是否会重复.

不幸的是，Meier 继续宣传她学生编辑的论文中的发现，但却没有承认 Harman 和 Lorandos 对她的研究的批评以及他们无法使用开放科学实践复制她的发现(Meier，2021 年).

鉴于哈曼和洛兰多斯在其作品的原始出版物中发现的缺乏透明度、承认的 p-hacking 和研究设计问题，得出的结论和正在推广的结论对在家庭暴力中挣扎的家庭构成了严重的风险.

对于家庭暴力和父母疏远等社会问题，应该期待重复和更高标准的透明度和问责制，而不是忽视或破坏.