面部识别技术如何受到种族歧视和偏见

面部识别技术如何受到种族歧视和偏见
面部识别算法通常使用白脸进行测试,这导致该技术无法区分种族个体。 (存在Shutterstock)

底特律警察在2020年XNUMX月错误地逮捕了罗伯特·朱利安·伯查克·威廉姆斯 发生在两年前的一次入店行窃事件中。 尽管威廉姆斯与事件无关,但密歇根州警察使用的面部识别技术使他的脸与从店内监控录像中获得的粒状图像“匹配”,该录像显示另一名非洲裔美国男子拿着价值3,800美元的手表。

两周后,此案应检方的要求被驳回。 但是,依靠这场错误的比赛,警察已经将威廉姆斯戴上手铐并逮捕了他,并迫使他提供了马克杯照,指纹和他的DNA样本,对其进行了讯问并将其囚禁了一夜。

专家认为,威廉姆斯并不孤单,其他人也遭受过类似的不公正待遇。 有关警察使用Clearview AI的持续争议无疑突显了面部识别技术带来的隐私风险。 但重要的是要意识到 并非所有人都承担同样的风险.

训练种族主义算法

面部识别技术 训练并适应白种人的脸 系统地错误识别和错误标记种族化个人:大量研究报告称面部识别技术是“有缺陷且有偏见,当与有色人种搭配使用时,错误率明显更高设立的区域办事处外,我们在美国也开设了办事处,以便我们为当地客户提供更多的支持。“

这场 破坏种族主义者的个性和人性 更有可能被误认为是犯罪分子。 这项技术及其造成的识别错误反映并进一步巩固了长期存在的社会分裂,这些种族分裂与种族主义,性别歧视,同性恋恐惧症,定居者殖民主义和其他相互交织的压迫深深地纠缠在一起。


France24对面部识别技术中种族偏见的调查。

技术如何对用户进行分类

在他的改变游戏规则的1993年著作中, 全景排序,学者奥斯卡·甘迪(Oscar Gandy)警告说:“复杂的技术涉及收集,处理和共享在日常生活中产生的有关个人和群体的信息……用于协调和控制他们对定义生活的商品和服务的访问。现代资本主义经济。” 执法部门使用它来吸引一般公众的嫌疑人,而私人组织则使用它来确定我们是否可以访问诸如 银行业雇用.


从InnerSelf获取最新信息


甘迪(Gandy)预言性地警告说,如果不加以遏制,这种形式的“网络分类”将在平等分配社区中成倍地降低寻求平等社区的成员(例如,种族主义或社会经济上处于不利地位的群体)的利益。他们可能如何了解自己。

大约25年后,我们现在生活在对类固醇的全景视域中。 而且它对寻求平等社区产生负面影响的例子比比皆是,例如错误地识别威廉姆斯。

先前存在的偏见

使用算法进行的这种分类会渗透到日常生活的最基本方面,从而引发直接暴力和结构性暴力。

威廉姆斯所遭受的直接暴力在逮捕和拘留期间立即可见一斑,他所遭受的个人伤害显而易见,可以追溯到警察选择依靠技术的“比赛”进行逮捕的行为。 更阴险的是 结构性暴力 通过面部识别技术实现 其他数字技术 以放大现有的歧视模式的方式对个人进行评分,匹配,分类和排序。

结构性暴力的危害不那么明显,也不那么直接,并且通过系统地剥夺权力,资源和机会,对寻求平等的群体造成伤害。 同时,它增加了对这些团体中个别成员的直接风险和伤害。

预测性警务用途 对历史数据进行算法处理,以预测何时何地可能发生新的犯罪,相应地分配警察资源,并将通常在低收入和种族化社区中的加强警察监视纳入社区。 这增加了任何犯罪活动的机会,包括不太严重的犯罪活动,否则可能不会引起警方的回应,这将被发现并受到惩罚,最终限制了生活在该环境中的人们的生命机会。

而且其他部门不平等的证据还在不断增加。 英国数百名学生 在16月XNUMX日抗议灾难性的结果。 不等,英国政府用来确定哪些学生符合大学条件的算法。 在2019年,Facebook的微目标广告服务 帮助了数十个公共和私营部门的雇主 禁止人们根据年龄和性别接收招聘广告。 ProPublica进行的研究已记录在案 基于种族的在线产品价格歧视。 搜索引擎会定期产生种族主义和性别歧视结果。

永恒的压迫

这些结果之所以重要,是因为它们基于种族,性别和年龄等特征,使并扩大了原有的不平等现象。 它们也很重要,因为它们会深深影响我们如何认识自己和周围的世界,有时是通过 预选信息 我们以强化刻板印象的方式接受。 甚至科技公司本身也承认 迫切需要停止使算法长期存在的歧视.

迄今为止,由技术公司本身进行的专案调查的成功一直是不一致的。 有时,参与生产歧视性系统的公司会将其退出市场,例如何时 Clearview AI宣布将不再在加拿大提供面部识别技术。 但通常,此类决定仅是出于监管审查或公众的强烈抗议 after 寻求平等的社区成员已经受到伤害。

现在该为我们的监管机构提供解决问题所需的工具了。 简单的隐私保护取决于获得个人同意以使数据能够被公司捕获和重新利用,这不能与这种使用的歧视性结果区分开。 在我们大多数人(包括科技公司本身)无法完全理解算法的作用或为什么会产生特定的结果。

隐私是人权

解决方案的一部分需要打破当前将隐私和人权视为单独问题的监管孤岛。 依靠基于同意的数据保护模型会遇到以下基本原则,即隐私和平等都是不可剥夺的人权。

甚至 加拿大的数字宪章 联邦政府为应对当前数字环境现状的缺陷而进行的最新尝试-保持了这些概念上的区别。 它把仇恨和极端主义,控制和同意以及强大的民主视为不同的类别。

为了解决算法歧视,我们必须承认并将隐私和平等视为人权。 我们必须创建一个既专注于又精通两者的基础架构。 没有这些努力,数学和科学的光彩照耀将继续掩盖AI的歧视性偏见,而像威廉姆斯所遭受的悲剧可能会成倍增加。谈话

作者简介

简·贝利(Jane Bailey),法律教授,eQuality项目的联合负责人, 渥太华大学/渥太华大学; 研究部副总裁Jacquelyn Burkell, 西方大学和全职教授Valerie Steeves, 渥太华大学/渥太华大学

本文重新发表 谈话 根据知识共享许可。 阅读 原创文章.

enafarZH-CNzh-TWnltlfifrdehiiditjakomsnofaptruessvtrvi

按照InnerSelf

Facebook的图标Twitter的图标RSS图标

通过电子邮件获取最新的

{emailcloak = OFF}

编者的话

InnerSelf通讯:18,2020年10月
by InnerSelf员工
如今,我们生活在小型泡泡中……在我们自己的家中,在工作中和在公共场合,也许在我们自己的思想和情感中。 然而,生活在泡沫中,或感觉像我们…
InnerSelf通讯:11,2020年10月
by InnerSelf员工
人生是一段旅程,就像大多数旅程一样,人生伴随着跌宕起伏。 就像白天总是在夜晚之后一样,我们的个人日常经历也是如此,从黑暗到光亮,以及来回往返。 然而,…
InnerSelf通讯:4,2020年10月
by InnerSelf员工
Whatever we are going through, both individually and collectively, we must remember that we are not helpless victims.无论我们正在经历的是个人还是集体,我们都必须记住,我们不是无助的受害者。 We can reclaim our power to heal our lives, spiritually and emotionally, as well…我们也可以收回我们在精神和情感上治愈我们生命的力量……
InnerSelf通讯:9月27,2020
by InnerSelf员工
人类最大的优势之一就是我们的灵活性,创新能力和开创思维能力。 成为昨天或前一天以外的人。 我们可以改变……
对我有用的:“为了最高的利益”
by Marie T. Russell,InnerSelf
我之所以分享“对我有用的东西”,是因为它也可能对您有用。 如果我做的方式不完全正确,那么由于我们都是独一无二的,因此态度或方法的某些差异很可能是某种……