超级预报员:大流行规划人员可以从世界上最好的预报器中学到什么英国首相鲍里斯·约翰逊(Boris Johnson)前首席顾问多米尼克·卡明斯(Dominic Cummings)认为,专家们错误地认为这是错误的。 卡明斯认为 英国政府在2020年XNUMX月提出的官方科学建议极大地误解了这场流行病的蔓延方式,导致延误了锁定行动,导致数千人丧生。

根据卡明斯的说法,某些专家对流行病或医学知识较少,例如数据科学家Ben Warner,人工智能研究员DeepMind的Demis Hassabis和数学家Tim Gowers,他们在这一点上给出了更准确的预测。

卡明斯也被称为 风扇 of 超级预测 菲利普·泰特洛克(Philip Tetlock)所著的一本关于人们对未来事件的预测比大多数人更可靠的书。 一些超级预报员 被赞扬了 他们对大流行的预测,而其他人也 批评专家的 记录。

因此,政府是否应该更多地使用超级预报员,而不是依靠科学专家? 证据不是那么明确。 但是,政府似乎肯定可以从超级预测中学到一些东西。

在一个 美国著名研究 在2014年发布的超级预报员上,他们是一支精英船员。 只有前2%的竞争者在地缘政治预测比赛中表现良好,无法赢得冠军。 他们的任务是为数十个问题的可能答案分配概率。


内在自我订阅图形


研究人员提供了一些说明性的例子。 谁会在2012年担任俄罗斯总统? 朝鲜会在未来三个月内引爆另一枚核武器吗? 明年有多少难民逃离叙利亚?

当然,仅仅因为某人一年做得好就不能证明他们比其他任何人都更加熟练。 也许他们很幸运。 我们必须看看他们在接下来的几年中做得如何,才能评估他们的真正“超级”水平。

令人印象深刻的是,随着比赛进行了三年,这些超级预测者保持了自己的优势。 实际上,在被合并为仅包含其他顶级绩效人员的“超级预测团队”之后,他们的绩效有了实质性的提高。 研究人员还发现,与处于控制状态的预报员相比,团队合作和接受相关培训可以提高其他预报员的绩效。

团队与训练

无论我们是否接受卡明斯的话,即英国的大流行规划都遭受了“经典的集体思维泡沫”,我们知道团队并不总是做出明智的决定。 是什么使这些团队在美国研究中更加成功?

很难肯定地说,但是研究人员特别鼓励团队提出精确的问题,以鼓励对支持特定预测的证据进行更清晰的思考,“寻找与您当前的预测相抵触的证据”,并建设性地提出替代观点。 。

这样的辩论很可能 改善集体判断力防止集体思维。 团队成员也不需要达成共识。 尽管他们共享信息和意见,但是他们仍然做出了单独的预测,并通过算法进行了组合。 特别是超级预报员团队 高度敬业,经常与其他团队成员共享信息并提出问题。

另一项研究 仔细研究了哪些特定的培训技术似乎最有帮助。 三种技术尤其具有更高的准确性。 首先是所谓的比较类的使用。

例如,如果我要预测本尼迪克特·康伯巴奇(Benedict Cumberbatch)和索菲·亨特(Sophie Hunter)在五年内仍然在一起的可能性,那么考虑其他相关的“阶级”(例如名人婚姻的阶级,甚至是婚姻的阶级)可能会有所帮助。一般的婚姻。 这使我可以回顾历史,以做出自己的预测:在任何给定的五年时间内,名人婚姻的终结率是多少?

第二是利用数学和统计模型(如果可用)来帮助传达自己的观点。 第三是“选择正确的问题” –建议花更多时间预测对您比其他人对该主题了解更多的问题,或者可能会进行更多研究的问题的答案。 然而,研究人员强调 培训 可能在整体上为提高性能做出了贡献。

研究也表明了这一点 当我们跟踪过去的表现时,准确性会提高 -但是反馈的类型很重要。 您认为20%的时间会发生结果,而实际上20%的时间会发生结果吗? 您认为90%的时间会发生什么结果呢? 对于那些接收此类信息的人,性能会有所提高。

政府可以做得更好吗?

英国政府是否可以通过征询超级预报员的意见来在COVID-19上做得更好? 这是可能的。 超级预测者 良好的判断力 并在 形而上学 (我参加过)每个人在COVID-19上都做得不错,Metaculus声称拥有 跑赢专家 就是在2020年XNUMX月。 最近系列 在与COVID-19相关的预测中,训练有素的预报员并不总是比专家更准确。 调查背后的研究人员正在尝试将领域专家和训练有素的预测员的预测合并为“共识预测”的方法。

甚至有可能帮助非超级队做出更好的预测的训练也是有用的。 例如,卡明斯声称,尽管流行病学模型受到了广泛关注,但与模型的假设相矛盾的证据(例如重症监护病房报告的数据)被忽略了。 显然有人训练有素的“寻找与您当前的预测相矛盾的证据”可能早些时候就已经发现了。

当然,并非所有文献中的建议在政府环境中都是可行的。 从理论上讲,政府可以自己采纳这些建议,并采纳任何看似有益的建议。 不幸的是,您无法改善无法衡量的内容。

In 超级预测,Tetlock强调,任何认真改善其预测的组织都必须在其内部(至少在内部)附加具体数字。 诸如“严重可能性”之类的短语可能意味着一个人20%的机会,另一个人80%的机会。

几乎可以肯定,这是卡明斯所指的 当他说:“一个叫Phil Tetlock的人写了一本书,在那本书中,他说你不应该使用诸如合理,可能和可能之类的词,因为这会使所有人感到困惑。” 如果没有以能够被评估的方式进行预测的组织没有能力学习如何使它们变得更好,也许这并不会让我们感到惊讶。 要改进,您首先必须尝试。

关于作者

剑桥大学温顿风险与证据交流中心研究助理Gabriel Recchia

相关书籍:

身体记录分数:创伤愈合中的大脑和身体

作者:Bessel van der Kolk

这本书探讨了创伤与身心健康之间的联系,提供了治疗和恢复的见解和策略。

点击了解更多信息或订购

呼吸:失落艺术的新科学

通过詹姆斯·内斯特

这本书探讨了呼吸的科学和实践,提供了改善身心健康的见解和技巧。

点击了解更多信息或订购

植物悖论:导致疾病和体重增加的“健康”食品中的隐患

通过 Steven R. Gundry

这本书探讨了饮食、健康和疾病之间的联系,提供了改善整体健康状况的见解和策略。

点击了解更多信息或订购

免疫密码:真正健康和彻底抗衰老的新范式

乔尔·格林

这本书提供了一个关于健康和免疫的新视角,借鉴了表观遗传学的原理,并提供了优化健康和衰老的见解和策略。

点击了解更多信息或订购

完整的禁食指南:通过间歇性、隔日和延长禁食来治愈你的身体

作者:Jason Fung 博士和 Jimmy Moore

本书探讨了禁食的科学和实践,提供了改善整体健康和保健的见解和策略。

点击了解更多信息或订购

这篇文章最初出现在 谈话