消除相关性与因果关系的混淆 

这是您可能没有意识到的历史珍闻。 在1860和1940之间,随着新英格兰卫理公会部长人数的增加,进口到波士顿的古巴朗姆酒数量也增加了,而且他们都以非常相似的方式增长。 因此,卫理公会的大臣们在这段时间肯定已经买了很多朗姆酒!

其实不,这是一个愚蠢的结论画。 实际情况是,卫理公会和古巴朗姆酒两个数量都受到人口增长等其他因素的推动。

在得出这个不正确的结论的时候,我们犯了太常见的错误 与因果关系混淆.

有什么不同?

两个数量据说是 相关  如果两者一起增加和减少(“正相关”),或者一个增加,另一个减少,反之亦然(“负相关”)。

相关性很容易通过统计测量来检测 皮尔逊相关系数,这表明两个数量紧密结合在一起的范围从-1(完全负相关)到0(完全不相关),直到1(完全正相关)。


内在自我订阅图形


 causation1tylervigen.com

但仅仅因为两个量相关并不一定意味着一个是直接的 造成 另一个改变。 相关并不意味着因果关系,就像多云的天气并不意味着降雨,即使情况正好相反。

如果两个数量相关,那么就可能有一个真正的因果关系(如降雨量和伞销售量),但也可能是其他变量(如 海盗数量和全球变暖),或者也许只是巧合(比如 美国奶酪的消费量和每张床单的扼杀).

即使存在因果关系,我们也必须小心,不要混淆原因和效果,否则我们可能会得出结论,例如,加热器的使用会导致寒冷的天气。

为了建立因果关系,我们需要超越统计范围,寻找单独的(科学的或历史的)证据和逻辑推理。 相关性可能会促使我们首先去寻找这样的证据,但它本身并不是一个证明。

微妙的问题

虽然上面的例子显然很愚蠢,但是相关性常常被误认为是因果关系,而这些因素在现实世界中并不是很明显。 在阅读和解释统计数据时,必须非常谨慎地理解数据及其统计数据的含义 - 更重要的是,它们是什么 不能 暗示。

 causation2

最近在解释数据时需要谨慎的一个例子是今年早些时候围绕着明显的突破性的兴奋 检测引力波 - 似乎已经发布的公告 过早之前,所有影响数据的变量都被考虑在内。

不幸的是,分析统计数据,概率和风险并不是我们的技能 人类的直觉,所以太容易被误入歧途。 整本书 已经写入了统计数据可能被误解(或被误导)的微妙方式。 为了保持警惕,以下是一些常见的滑动统计问题,您应该注意:

1)“健康工作者效应”,有时两个团队不能直接在公平的比赛场地上进行比较。

考虑一个假设的研究,比较一组办公室工作人员的健康状况和一群宇航员的健康状况。 如果研究结果显示两者之间没有显着差异 - 健康与工作环境之间没有相关性,那么我们是否可以得出结论:宇航员的生活和工作对宇航员没有长期的健康风险?

没有! 这两个团体的地位并不相同:宇航员团队筛选申请人,寻找健康的候选人,然后保持全面的健身体系,积极应对“微重力”生活的影响。

因此,我们希望他们平均比办公室工作人员健康得多,如果他们不这样做,他们应该是正确的。

2)分类和阶段迁移效应 - 群体之间的洗牌人群可能会对统计结果产生显着影响。

这也被称为 威尔·罗杰斯 效果,之后美国喜剧演员打趣说:

当Okies离开俄克拉荷马州并搬到加州时,他们提高了两州的平均智商水平。

想象一下,想象一下,把一大群朋友分成一个“短”组和一个“高”组(可能是为了安排照片)。 这样做后,立即提高两组的平均身高是非常容易的。

只要求“高”组中的最矮的人切换到“短”组。 这个“高大”的群体失去了他们最矮的成员,从而使他们的平均身高增加了 - 但是这个“矮个群体”却获得了他们最高的成员,从而也获得了平均身高。

这在医学研究中具有重要意义,在测试新疗法的过程中,患者通常被分类为“健康”或“不健康”的群体。 如果诊断方法得到改善,可能会重新分类一些非常不健康的患者,导致两组患者的健康状况改善,无论治疗效果如何(有或没有)。

 causation3在数据中挑选和选择可能会导致错误的结论。 当数据真正显示长期变暖(绿色)时,怀疑者看到冷却期(蓝色)。 skepticalscience.com 

3)数据挖掘 - 当数据丰富时,可以挑选零碎的碎片以支持任何期望的结论。

这是不好的统计实践,但是 如果故意的话 没有原始的,完整的数据集的知识就很难被发现。

考虑上面的图表,例如对全球变暖数据的两种解释。 或氟化物 - 少量是有史以来最有效的预防药物之一,但如果只考虑有毒量的氟化物,则其积极作用完全消失。

出于类似的原因,在实验开始之前,给定统计实验的程序是固定的,并且在实验结束之前保持不变是很重要的。

4)聚类 - 即使在完全随机数据中也是如此。

考虑一个医学研究,检查如何特定的疾病,如癌症或多发性硬化症 地理分布。 如果疾病随机发作(环境没有影响),我们期望看到众多患者群。 如果患者分散得很均匀,那么分布就会是非常随意的!

因此,单个群集或者一些小群集的存在是完全正常的。 需要复杂的统计方法来确定需要多少聚类才能推断出该领域的某些东西可能导致疾病。

不幸的是,任何一个集群 - 甚至是一个非重要集群 - 都使得一个简单的(乍一看,令人信服的)新闻标题成为可能。

 causation4

统计分析和其他强有力的工具一样,必须非常谨慎地使用 - 特别是在基于两个数量相关的事实得出结论时,必须小心谨慎。

相反,我们必须始终坚持单独的证据来争论因果关系,证据不会以一个统计数字的形式出现。

看起来令人信服的相关性,说给定的基因和 精神分裂症 或之间 高脂肪的饮食 和心脏病,可能会变成基于非常可疑的方法。

我们也许是作为一个认识不足的人准备处理这些问题。 作为加拿大教育家 基兰·伊根 把它放在他的书里 从一开始就弄错了:

坏消息是,我们的进化使我们生活在一个小而稳定的狩猎采集社会。 我们是更新世人,但是我们语言上的大脑已经创造了我们生活的大规模,多文化,技术复杂和瞬息万变的社会。

因此,我们必须不断抵制偶然看到意义的诱惑,并混淆关联和因果关系。谈话

这篇文章最初发表于 谈话
阅读 原创文章.


作者简介

鲍威温·乔纳森Jonathan Borwein(乔恩)是纽卡斯尔大学数学奖获得者。 他是纽卡斯尔大学数学教授和计算机辅助研究数学及应用中心(CARMA)的主任。 他曾在卡内基 - 瓜隆,达尔豪西,西蒙弗雷泽和滑铁卢大学工作,并曾在加拿大计算机研究所任两位研究员。

玫瑰迈克尔Michael Rose是纽卡斯尔大学数学和物理科学学院的博士候选人。在澳大利亚纽卡斯尔大学的获奖者Jon Borwein教授的指导下,获得数学博士学位。 目前协助研究应用分形数学建模大脑突触分布。

披露声明: 作者不工作,咨询,拥有任何公司或组织的资金,或从本文中受益的任何公司。 他们也没有相关的联系。


推荐图书:

金钱,性别,战争,噶玛:佛教革命笔记
David R. Loy。

金钱,性别,战争,噶玛:大卫·R·洛伊的佛教革命笔记。大卫·洛伊已经成为佛教世界观中最有力的倡导者之一,并不像其他人那样能够改变现代世界的社会政治格局。 在 金钱,性别,战争,噶玛,他提供了经常被误解的佛教主题 - 业力工作,自我的本质,个人和社会层面麻烦的原因,以及我们集体意识背后的真正原因, ,“无论是时间,金钱,性别,安全,甚至战争。 大卫的“佛教革命”,只不过是对我们的生活,我们的星球,弥漫在我们的语言,文化乃至灵性上的集体幻想的一种彻底的改变。

点击这里为更多的信息和/或订购这本书在亚马逊。