人工智能聊天机器人已经被企业广泛使用，通过电话或网站来迎接客户并回答他们的问题。 一些公司发现，在某种程度上，他们可以用机器代替人类担任呼叫中心的角色。
然而，现有证据表明，在医疗保健和人力资源等领域，使用这些一线工具需要格外小心，并且可能需要进行道德监督。
最近广为人知的一个例子是 名为 Tessa 的聊天机器人，这是由 国家饮食失调协会 (NEDA) 在美国。 该组织最初维持一条由受薪员工和志愿者共同运营的求助热线。 其明确目标是帮助患有饮食失调的弱势群体。
然而，今年该组织 解散了求助热线工作人员，宣布将用 Tessa 聊天机器人取代它们。 其原因存在争议。 前员工声称，这一转变是在热线工作人员决定加入工会之后发生的。 这 NEDA 副总裁引用 电话数量和等待时间增加，以及使用志愿者工作人员的法律责任。
不管怎样，经过一段非常短暂的操作后，Tessa 因有报道称聊天机器人发出了有问题的建议而被下线，这些建议可能会加剧寻求饮食失调帮助的人们的症状。
另据报道称 埃伦·菲茨西蒙斯-克拉夫特博士和 C·巴尔·泰勒博士两位协助创建 Tessa 的高素质研究人员表示，该聊天机器人从未打算取代现有的帮助热线或为那些经历严重饮食失调症状的人提供立即帮助。
重大升级
那么泰莎的设计目的是什么呢？ 研究人员与同事们一起生成了一个 观察研究 强调了他们在设计基于规则的聊天机器人以与关注饮食失调的用户互动时面临的挑战。 这是一本非常引人入胜的读物，阐述了设计选择、操作、陷阱和修改。
泰莎的原始版本是一个传统的、 基于规则的聊天机器人，尽管是一种高度精炼的结构，但它遵循基于逻辑的预定义结构。 它不能偏离其创建者校准的标准化预编程响应。
他们的结论包括以下观点：“基于规则的聊天机器人有潜力以低成本提供信息和简单的交互来接触大量人群，但在理解和对意外的用户响应做出适当响应方面受到限制”。
这似乎限制了 Tessa 的适用用途。 那么它是如何取代 NEDA 之前使用的帮助热线的呢？ 确切的事件链正在不同的账户中讨论，但是，根据 NPR 的报道，聊天机器人的托管公司将 Tessa 从一个基于规则的聊天机器人更改为一个具有预编程响应的聊天机器人。 “增强的问答功能”.
Tessa 的最新版本是采用生成式人工智能的版本，很像 ChatGPT 和类似产品。 这些先进的人工智能聊天机器人旨在模拟人类对话模式，旨在提供更现实和有用的响应。 生成这些定制答案依赖于大型信息数据库，人工智能模型经过训练可以通过各种技术流程“理解”这些数据库： 机器学习, 深入学习 和 自然语言处理.
学习课程
最终，聊天机器人对一些用户的问题生成了被描述为可能有害的答案。 随后的讨论将责任从一个机构转移到了另一个机构。 然而，问题仍然是，如果有一个机构提供道德监督、“人在循环中”并坚持泰莎最初设计的明确目的，那么随后发生的情况是有可能避免的。
在人工智能快速融入各种系统的背景下，从此类案例中吸取教训非常重要。 虽然这些事件发生在美国，但它们为那些试图在其他国家做同样事情的人提供了教训。
英国对这个问题的处理方式似乎有些分散。 数据伦理与创新中心 (CDEI) 顾问委员会 最近被解散 它的席位被新成立的前沿人工智能工作组占据。 还有报道称，人工智能系统已经在伦敦进行试用，作为援助工人的工具，但不能替代求助热线。
这两个例子都凸显了道德考虑和商业利益之间潜在的紧张关系。 我们必须希望两者最终能够结合起来，平衡个人的福祉与人工智能可以提供的效率和利益。
然而，在组织与公众互动的某些领域，人工智能生成的反应和模拟的同理心可能永远不足以取代真正的人性和同情心——特别是在医学和心理健康领域。
