向银行或信用卡公司申请贷款并被拒绝的人应该对发生这种情况的原因作出解释。 这是一个好主意 - 因为它可以帮助教人们如何修复受损的信贷 - 这是一个联邦法律， 平等信用机会法案。 过去几年，当人类做出这些决定时，获得答案并不是什么大问题。 但是今天，随着人工智能系统越来越多地帮助或取代做信用决策的人，获得这些解释变得更加困难。 
传统上，拒绝申请的贷款官员可能会告诉可能的借款人，他们的收入水平或工作经历存在问题，或者 不管是什么问题。 但是使用复杂的计算机化系统 机器学习 模型很难解释，即使是专家。
消费者信贷决策只是这个问题出现的一种方式。 类似的关注 存在于 保健, 网络营销 乃至 刑事司法。 当我发现一个研究小组的时候，我开始对这个领域感兴趣 在线广告定位的性别偏见，但无法解释为什么发生。
所有那些使用机器学习来分析流程和做出决策的行业，以及其他许多行业，在解释系统如何工作方面都有一点点时间。 2018在5月份，新的 欧盟通用数据保护条例 生效，其中包括一个部分给人们一个解释自动决定影响他们的生活的权利。 这些解释应该采取什么样的形式，我们可以提供吗？
确定关键的原因
一种方式来描述为什么一个自动化的决定出来的方式是确定最有影响力的决定因素。 信用否认决定有多少是因为申请人没有足够的钱，或者是因为他以前没有偿还贷款？
我在卡内基梅隆大学的研究小组，包括博士生Shayak Sen和当时的博士后Yair Zick，创造了一种方法 衡量相对影响 的每个因素。 我们称之为定量输入影响。
除了更好地理解个人决策之外，衡量标准还可以阐明一系列决策：算法是否拒绝信用主要是由于财务问题，例如申请人欠其他债务多少？ 或者是申请人的邮政编码更重要 - 这意味着更多的基本人口统计资料可能会发挥作用。
捕捉因果关系
当一个系统基于多个因素做出决策时，重要的是要确定哪些因素会导致决策及其相对贡献。
例如，设想一个信贷决策系统，只需要两个投入，一个申请人的债务与收入比率和她的种族，并已被证明只批准高加索人的贷款。 了解每个因素对决策的贡献有多大可以帮助我们理解这是一个合法的系统还是歧视。
一个解释可能只是看输入和结果，并观察相关性 - 非高加索人没有获得贷款。 但是这个解释太简单了。 假设被剥夺贷款的非高加索人的收入也低于申请成功的高加索人。 那么这个解释就不能告诉我们申请人的种族或债务收入比是否会造成否定。
我们的方法可以提供这些信息。 说出差异意味着我们可以搞清楚这个系统是不公正的歧视还是看合法标准，如申请人的财务状况。
为了衡量种族在特定信贷决策中的影响，我们重新申请程序，保持债务与收入比例相同，但改变了申请人的种族。 如果改变种族确实影响结果，我们知道种族是一个决定因素。 如果没有，我们可以得出结论算法只是在财务信息。
除了识别导致因素之外，我们还可以衡量它们对决策的相对因果影响。 我们通过随机改变因素（例如种族）和测量结果改变的可能性来做到这一点。 可能性越高，影响因子越大。
汇总影响力
我们的方法也可以包含多个一起工作的因素。 考虑一个决策系统，向满足以下三个标准中的两个的申请人授予信用：600以上的信用评分，汽车所有权以及申请人是否已经全部偿还了住房贷款。 说一个申请人，爱丽丝，730的信用评分，没有汽车或住房贷款，被拒绝信贷。 她想知道她的汽车所有权状况还是住房贷款还款记录是主要原因。
类比可以帮助解释我们如何分析这种情况。 考虑一个由三名法官组成的多数票作出决定的法院，其中一个是保守派，一个是自由派，第三个是摇摆式投票人，可能会与她的任何一位同事一起出面。 在一个2-1保守的决定中，挥杆裁判比自由裁判对结局的影响更大。
我们的信贷例子中的因素就像三位法官。 第一名法官普遍赞成贷款，因为许多申请人有足够高的信用评分。 第二名法官几乎总是投票反对贷款，因为很少有申请人有偿还过家。 所以这个决定归结为挥杆裁判，在爱丽丝的情况下，谁是拒绝贷款，因为她没有一辆汽车。
我们可以精确地使用这个推理 合作博弈论，这个系统更具体地分析了不同因素如何促成单一结果。 特别是，我们结合我们的相对因果影响的测量与 Shapley价值，这是一种计算如何将影响归因于多种因素的方法。 这些共同构成了我们的定量输入影响度量。
到目前为止，我们已经通过使用真实世界的数据集来训练常用机器学习算法来评估我们的决策系统的方法。 在现实世界中评估算法是未来工作的一个主题。
一个公开的挑战
我们的分析和解释算法如何做出决定的方法在人们容易理解这些因素的环境中是非常有用的 - 比如债务收入比和其他财务标准。
然而，解释更复杂算法的决策过程仍然是一个重大挑战。 举个例子，像一个图像识别系统 检测和追踪肿瘤。 解释基于单个像素的特定图像评估并不是非常有用。 理想情况下，我们想要一个解释，提供更多的洞察决定 - 如确定具体的肿瘤特征的形象。 事实上，为这样的自动化决策任务设计解释是许多研究人员 忙碌.
关于作者
计算机科学与电子与计算机工程副教授Anupam Datta， 卡内基 - 梅隆大学
相关书籍
at InnerSelf 市场和亚马逊
