战争中的人和国家
拿破仑本可以从过去吸取教训。 Adolph Northen/维基百科的绘画

不了解历史就会重蹈覆辙,这是陈词滥调。 正如许多人也指出的那样,我们从历史中学到的唯一一件事就是我们很少从历史中学到任何东西。 人们从事 亚洲陆战 一遍又一遍。 他们还一次又一次地重复同样的约会错误。 但是为什么会这样呢? 技术会终结它吗?

一个问题是健忘和“近视”:我们看不到过去的事件与当前的事件有何关联,而忽略了正在展开的模式。 拿破仑应该注意到他进军莫斯科和瑞典国王之间的相似之处 查理十二世也未能如愿 大约比他早一个世纪。

我们也是 学习不好 当事情出错时。 我们常常试图忽略令人尴尬的事件,而不是去确定为什么一个决定是错误的以及如何避免它再次发生。 这意味着下次出现类似情况时,我们看不到相似之处 - 并重复错误。

两者都揭示了信息问题。 在第一种情况下,我们无法记住个人或历史信息。 第二,我们未能在信息可用时对其进行编码。


内在自我订阅图形


也就是说,当我们无法有效地推断将要发生的事情时,我们也会犯错误。 也许情况太复杂或太耗时,无法考虑。 或者我们偏向于误解正在发生的事情。

令人讨厌的技术力量

但技术肯定能帮助我们吗? 我们现在可以将信息存储在我们的大脑之外,并使用计算机来检索它。 那应该使学习和记忆变得容易,对吧?

当可以很好地检索信息时,存储信息很有用。 但是记住与从已知位置或日期检索文件不是一回事。 记忆涉及发现相似之处并将事情记在脑海中。

人工智能 (AI) 还需要能够自发地将相似之处带入我们的脑海——通常是不受欢迎的相似之处。 但如果它善于发现可能的相似之处(毕竟,它可以搜索所有互联网和我们所有的个人数据),它也经常会发现错误的相似之处。

对于失败的约会,它可能会注意到他们都涉及晚餐。 但问题从来都不是用餐问题。 桌上放着郁金香纯属巧合——没有理由避开它们。 我们经常重复约会错误。 

这意味着它会警告我们不关心的事情,可能是以一种烦人的方式。 调低其灵敏度意味着增加在需要时得不到警告的风险。

这是一个基本问题,同样适用于任何顾问:谨慎的顾问会经常喊狼来了,乐观的顾问会错过风险。

好的顾问是我们信任的人。 他们和我们一样谨慎,我们知道他们知道我们想要什么。 这在人类顾问中很难找到,在 AI 中更是如此。

技术在哪里阻止错误? 防白痴工作。 切割机需要您按住按钮,让您的手远离刀片。 如果操作员失去能力,“死人开关”会停止机器。

当门打开时,微波炉会关闭辐射。 要发射导弹,需要两个人在房间内同时转动钥匙。 在这里,仔细的设计使得错误很难犯。 但是我们不太关心不太重要的情况,这使得那里的设计远没有那么安全。

当技术运作良好时,我们往往过于信任它。 由于自动驾驶系统的惊人效率,如今航空公司飞行员的真实飞行时间比过去少。 当自动驾驶仪发生故障时,这是个坏消息,飞行员没有足够的经验来纠正这种情况。

第一个 新型石油平台(Sleipnir A)沉没 因为工程师信任作用在其上的力的软件计算。 该模型是错误的,但它以一种令人信服的方式呈现结果,看起来很可靠。

我们的许多技术都非常可靠。 例如,我们没有注意到互联网上丢失的数据包是如何在幕后不断被发现的,纠错码是如何消除噪音的,或者保险丝和冗余是如何使电器安全的。

但是当我们一层一层地复杂化时,它看起来就很不可靠了。 当 Zoom 视频滞后、AI 程序回答错误或计算机崩溃时,我们确实会注意到。 然而,问问任何 50 年前使用过计算机或汽车的人,他们实际上是如何工作的,您会发现他们的能力和可靠性都较差。

我们使技术变得更加复杂,直到它变得太烦人或使用起来不安全。 随着部件变得更好、更可靠,我们通常会选择添加新的令人兴奋和有用的功能,而不是坚持使用有效的功能。 这最终使该技术不如它应有的可靠。

会犯错误

这也是为什么人工智能是一把避免错误的双刃剑。 自动化在正常工作时通常会让事情变得更安全、更高效,但当它失败时,麻烦就会大得多。 自主意味着智能软件可以补充我们的思维并减轻我们的负担,但当它不像我们想要的那样思考时,它可能会行为不端。

它越复杂,错误就越多。 任何与高智商学者打过交道的人都知道,当他们的常识让他们失望时,他们能以极大的聪明才智把事情搞砸——而人工智能几乎没有人类的常识。

这也是担心 AI 指导决策的一个深刻原因: 他们犯了新的错误. 我们人类知道人为错误,这意味着我们可以提防它们。 但 智能机器会犯我们无法想象的错误.

更重要的是,人工智能系统是由人类编程和训练的。 并且有很多这样的系统的例子 变得有偏见甚至偏执. 他们模仿偏见并重复人类世界的错误,即使相关人员明确试图避免这些错误。

最后,错误会继续发生。 为什么我们对世界的看法是错误的,为什么我们不记得我们应该记住的一切,以及为什么我们的技术不能完美地帮助我们避免麻烦,这些都是有根本原因的。

但我们可以努力减少错误的后果。 撤消按钮和自动保存在我们的计算机上保存了无数文档。 伦敦纪念碑, 海啸石 日本和其他古迹的行为提醒我们某些风险。 良好的设计实践让我们的生活更安全。

最终,有可能从历史中学到一些东西。 我们的目标应该是生存并从我们的错误中吸取教训,而不是阻止它们发生。 技术可以帮助我们解决这个问题,但我们需要仔细考虑我们真正想要从中得到什么——并据此进行设计。

关于作者

安德斯桑德伯格, James Martin 研究员, 人类未来研究所 & 牛津马丁学院, 牛津大学

本文重新发表 谈话 根据知识共享许可。 阅读 原创文章.