拿破仑本可以从历史中吸取教训。 阿道夫·诺森的画作/维基百科
不了解历史就会重蹈覆辙，这是陈词滥调。 正如许多人也指出的那样，我们从历史中学到的唯一一件事就是我们很少从历史中学到任何东西。 人们从事 亚洲陆战 一遍又一遍。他们也总是重复同样的约会错误。但为什么会这样？科技能终结这种现象吗？
一个问题是健忘和“近视”：我们看不到过去的事件与当前的事件有何关联，而忽略了正在展开的模式。 拿破仑应该注意到他进军莫斯科和瑞典国王之间的相似之处 查理十二世也未能如愿 大约比他早一个世纪。
我们也是 学习不好 当事情出错时，我们往往不是去探究错误决策的原因以及如何避免重蹈覆辙，而是试图忽略令人尴尬的局面。这意味着下次遇到类似情况时，我们看不到其中的相似之处，从而重蹈覆辙。
两者都揭示了信息问题。 在第一种情况下，我们无法记住个人或历史信息。 第二，我们未能在信息可用时对其进行编码。
也就是说，当我们无法有效地推断将要发生的事情时，我们也会犯错误。 也许情况太复杂或太耗时，无法考虑。 或者我们偏向于误解正在发生的事情。
科技的烦人力量
但科技肯定能帮到我们吧？我们现在可以将信息存储在大脑之外，并用电脑来检索。这应该会让学习和记忆变得更容易，对吧？
当可以很好地检索信息时，存储信息很有用。 但是记住与从已知位置或日期检索文件不是一回事。 记忆涉及发现相似之处并将事情记在脑海中。
人工智能（AI）还需要能够自发地在我们脑海中构建相似性——通常是令人不快的相似性。但如果它擅长发现潜在的相似性（毕竟，它可以搜索整个互联网和我们所有的个人数据），它也常常会发现错误的相似性。
失败的约会记录上可能会提到，它们都与晚餐有关。但问题从来不在于用餐本身。桌上有郁金香纯属巧合——没有任何理由避开它们。 我们常常重复犯同样的约会错误。
这意味着它会警告我们不关心的事情，可能是以一种烦人的方式。 调低其灵敏度意味着增加在需要时得不到警告的风险。
这是一个基本问题，同样适用于任何顾问：谨慎的顾问会经常喊狼来了，乐观的顾问会错过风险。
好的顾问是我们信任的人。 他们和我们一样谨慎，我们知道他们知道我们想要什么。 这在人类顾问中很难找到，在 AI 中更是如此。
技术在哪里阻止错误？ 防白痴工作。 切割机需要您按住按钮，让您的手远离刀片。 如果操作员失去能力，“死人开关”会停止机器。
当门打开时，微波炉会关闭辐射。 要发射导弹，需要两个人在房间内同时转动钥匙。 在这里，仔细的设计使得错误很难犯。 但是我们不太关心不太重要的情况，这使得那里的设计远没有那么安全。
当技术运作良好时，我们往往过于信任它。 由于自动驾驶系统的惊人效率，如今航空公司飞行员的真实飞行时间比过去少。 当自动驾驶仪发生故障时，这是个坏消息，飞行员没有足够的经验来纠正这种情况。
第一个 新型石油平台（Sleipnir A）沉没 因为工程师信任作用在其上的力的软件计算。 该模型是错误的，但它以一种令人信服的方式呈现结果，看起来很可靠。
我们的许多技术都非常可靠。例如，我们不会注意到互联网上丢失的数据包是如何在后台不断被找回的，纠错码是如何消除噪声的，保险丝和冗余设计又是如何确保家用电器安全的。
但当我们一层层叠加复杂性时，它就显得非常不可靠了。我们确实会注意到Zoom视频卡顿、人工智能程序回答错误或电脑崩溃的情况。然而，问问50年前使用过电脑或汽车的人，它们的实际运作情况如何，你会发现它们当时的功能和可靠性都远不如现在。
我们使技术变得更加复杂，直到它变得太烦人或使用起来不安全。 随着部件变得更好、更可靠，我们通常会选择添加新的令人兴奋和有用的功能，而不是坚持使用有效的功能。 这最终使该技术不如它应有的可靠。
错误在所难免。
这也是为什么人工智能是一把避免错误的双刃剑。 自动化在正常工作时通常会让事情变得更安全、更高效，但当它失败时，麻烦就会大得多。 自主意味着智能软件可以补充我们的思维并减轻我们的负担，但当它不像我们想要的那样思考时，它可能会行为不端。
系统越复杂，出错的可能性就越大。任何与高智商学者打过交道的人都知道，当他们的常识失效时，他们会如何巧妙地把事情搞砸——而人工智能几乎没有人类的常识。
这也是担心 AI 指导决策的一个深刻原因： 他们犯了新型的错误。. 我们人类知道人为错误，这意味着我们可以提防它们。 但 智能机器会犯我们无法想象的错误.
更重要的是，人工智能系统是由人类编程和训练的。 并且有很多这样的系统的例子 变得有偏见甚至偏执. 他们模仿偏见并重复人类世界的错误，即使相关人员明确试图避免这些错误。
最后，错误会继续发生。 为什么我们对世界的看法是错误的，为什么我们不记得我们应该记住的一切，以及为什么我们的技术不能完美地帮助我们避免麻烦，这些都是有根本原因的。
但我们可以努力减少错误的后果。 撤消按钮和自动保存在我们的计算机上保存了无数文档。 伦敦纪念碑, 海啸石 在日本和其他地区，纪念碑的作用在于提醒我们注意某些风险。良好的设计实践能让我们的生活更安全。
归根结底，我们能够从历史中汲取教训。我们的目标应该是生存下来并从错误中吸取教训，而不是防止错误再次发生。科技可以帮助我们做到这一点，但我们需要认真思考我们真正想要从科技中获得什么——并据此进行设计。
关于作者
安德斯·桑德伯格詹姆斯·马丁，人类未来研究所和牛津马丁学院研究员 牛津大学
