我们需要了解政府用来做出关于我们的决策的算法

在刑事司法系统,信贷市场,就业领域,高等教育招生流程甚至 社交媒体网络,数据驱动的算法 现在推动决策 以触​​及我们的经济,社会和公民生活的方式。 这些软件系统使用人工制定或数据引发的规则对信息进行排名,分类,关联或过滤,从而实现对大量人群的一致治疗。

虽然这些技术可能会提高效率,但它们也可以 港口对弱势群体的偏见 or 加强结构性歧视。 例如,在刑事司法方面,基于在一大群人中衡​​量的统计趋势来判断个人的假释是否公平? 应用统计模型会产生歧视吗? 为一个州的人口发展到另一个人口不同的人口?

公众需要了解公共领域使用的算法的偏见和力量,包括政府机构。 我参与的一项努力,称为 算法问责制,旨在使这些系统的影响更清晰,更广泛地被理解。

现有的透明度技术,当应用于算法时,可以使人们能够监视,审计和批评这些系统是如何运作的 - 视情况而定。 不幸的是,政府机构似乎没有准备好查询算法及其在决策中的用途,这些决策对个人和公众都有重大影响。

打开算法进行公众审查

去年的 联邦政府开始研究 使用计算机数据分析的利弊有助于确定监狱囚犯在释放后重新犯罪的可能性。 将个人评为低风险,中等风险或高风险可以帮助做出住房和治疗决策,识别可以安全地被送到最低安全监狱或甚至是“中途宿舍”的人,或者从特定类型的人中受益的人心理护理。


内在自我订阅图形


这些信息可以使司法程序更有效,更便宜,甚至可以减少监狱拥挤。 已经证明,对高风险罪犯等低风险罪犯进行治疗 在一些研究中 导致他们内化成为一个“生病”的罪犯,需要对他们的不正常行为进行治疗。 因此,将它们分开可以减少在释放时导致再犯的消极行为的发展。

评估囚犯重新犯罪风险的数据和算法已经存在 被各州广泛使用 管理审前拘留,缓刑,假释,甚至量刑。 但是他们很容易被忽视 - 他们往往看起来像不起眼的官僚文书工作。

通常,算法归结为简化的评分表,由公务员填写,对基础计算知之甚少。 例如,一名案件工作者可以使用一种表格评估囚犯,案件工作人员记录该囚犯被判犯有暴力罪行,在第一次被捕时年轻,并且没有从高中毕业或获得GED。 这些因素以及关于此人和犯罪的其他特征导致得分表明囚犯是否有资格进行假释审查。

表单本身及其评分系统经常披露关于算法的关键特征,例如所考虑的变量以及它们如何组合在一起以形成总体风险评分。 但对于算法透明度而言,重要的是了解这些表单的设计,开发和评估方式。 只有这样,公众才能知道得分所涉及的因素和计算是否公平合理,或者是不知情和有偏见的。

使用信息自由法案

我们掌握这些表格及其支持材料的主要工具是法律,特别是信息自由法。 它们是公众为确保政府透明度而拥有的最强大的机制之一。 在联邦一级, 信息自由法案(FOIA) 允许公众正式要求 - 并期望收到 - 联邦政府提供的文件。 存在类似的法规 对于每个州.

在1966中实施,FOIA是在广泛使用计算之前创建的,并且在大量数据通常用于软件系统来管理个人和进行预测之前就已经创建了。 有过 一些初步研究 进入FOIA是否能够促进软件源代码的披露。 但问题仍然是现行法律是否能够满足21世纪公众的需求:我们可以使用FOIA算法吗?

算法透明度的案例研究

我打算回答这个问题 菲利普梅里尔新闻学院 在马里兰大学,我是一名助理教授。 在2015秋季,我和我的同事Sandy Banisky的媒体法课程一起,我们引导学生向每个50州提交FOIA请求。 我们要求提供与刑事司法中使用的算法相关的文件,数学描述,数据,验证评估,合同和源代码,例如假释和缓刑,保释或量刑决定。

作为一个为期一学期的项目,努力必然受到时间的限制,有很多障碍和相对较少的成功。 与许多记者的调查一样,即使找出要问的对象 - 以及如何 - 也是一个挑战。 不同的机构可能负责刑事司法系统的不同领域(判决可能由法院进行,但由惩教部门进行假释管理)。

即使在找到合适的人之后,学生们发现政府官员使用了不同的术语,这使得很难传达他们想要的信息。 有时,学生们必须努力向一位不那么精通数据的公务员解释“刑事司法算法”。 回想起来,要求“风险评估工具”可能更有效,因为这是州政府经常使用的术语。

处理答案

一些州,例如科罗拉多州,拒绝了我们的要求,称这些算法包含在软件中,这不被视为开放政府法律要求官员公开的“文件”。 不同的州在披露软件使用方面有不同的规则。 这有时会出现在法庭上,例如2004 适合底特律市 关于是否应公开向邻近城市收取水费的公式。

在我们自己的努力中,我们只收到了刑事司法算法的一个数学描述:俄勒冈州披露 16变量及其权重 在那里用来预测累犯的模型。 北达科他州发布了一份Excel电子表格,显示了用于确定囚犯有资格获得假释的日期的等式。 在爱达荷州和新墨西哥州,我们收到了一些文件,其中描述了这些州使用的累犯风险评估,但没有详细说明它们是如何开发或验证的。

九个州拒绝透露有关其信息真正归公司所有的声称的刑事司法算法的详细信息。 这意味着发布算法会损害开发算法的公司。 常见的累犯风险问卷, 称为LSI-R,原来是一个受版权保护的商业产品。 夏威夷和缅因州等国家声称无法向公众披露。

路易斯安那州表示,与开发商签订的新风险评估技术合同禁止在六个月内发布所要求的信息。 肯塔基州引用了与合同的合同 慈善基金会 因为它无法透露更多细节。 对专有信息的担忧可能是合法的,但鉴于政府经常与私营公司签订合同,我们如何在可解释且合法的司法系统中平衡这些担忧?

进行改进

迫切需要的FOIA改革是 目前正在审议中 国会。 这为法律现代化提供了机会,但提议的变更对于适应政府中越来越多的算法使用仍然没有作用。 算法透明度信息 可能是编纂的 报告中政府定期生成并公布,作为常规业务的一部分。

作为一个社会,我们应该要求对公共信息官进行培训,使他们识字,并且在公众要求算法时可能会遇到他们可能遇到的术语。 联邦政府甚至可能为“算法沙皇”创建一个新职位,这是一个监察员,其任务是与政府自动化进行沟通和实地调查。

我们在研究中收到的所有文件都没有告诉我们如何制定或评估刑事司法风险评估表。 由于算法控制着我们越来越多的生活,公民需要 - 并且必须要求 - 提高透明度。

关于作者

迪亚科普洛斯尼古拉斯Nicholas Diakopoulos,哥伦比亚大学Tow数字新闻中心研究员; 马里兰大学新闻学助理教授。 他的研究领域是计算和数据新闻,重点是新闻中的算法问责制,叙事数据可视化和社交计算。

这篇文章最初发表于 谈话。 阅读 原创文章.

相关书籍

at InnerSelf 市场和亚马逊