隆回县酒款理财资讯网

AI社会学︱算法的21栽“公平”,你要哪一栽?

我们期待你的参与,把你看到的最新、最有趣、最好看的文章给大家一起分享。

AI社会学︱算法的21栽“公平”,你要哪一栽?

作者: http://www.dgshengfen.cn | 时间:2020-09-09

2016年5月,美国著名的非盈余媒体ProPublica发外了一篇题为《机器成见》(Machine Bias) 的调查性报道。倘若之前在人造智能和机器学习周围相关公平 (fairness) 和成见 (bias) 的议题还只是幼周围的学界争吵,仅在FATML (Fairness, Accountability, and Transparency in Machine Learning) 等新兴会议里被商议,这篇报道之后关键词里涉及“公平”的机器学习论文最先呈指数级添长。有普林斯顿计算机系教授阿尔文德•纳拉亚南(Arvind Narayanan)精心制作的美图为证:

菏泽多进电子设备有限公司

图片来源:Narayanan, Arvind. "21 definitions of fairness and their politics. (Feb.23, 2018)." In Tutorial presented at the Conference on Fairness, Accountability, and Transparency, vol. 21.

在这篇影响力重大的报道里,ProPublica分析了一个名为COMPAS的机器学习体系。在美国地方的司法体系里,COMPAS被普及行使于展望被告的再犯几率,行为提出量刑的基础。基于一系列复杂的历史数据,包括年龄、性别和已有的作恶记录,COMPAS展望案件走为人(或被告)被再次逮捕的概率,得出一个1到10分之间的 “危险分” (risk score) 供法官参考:分数越高,走为人被再次逮捕的概率越高,也就越危险。

机器学习的拥趸们认为,比首人类法官们固有的轻蔑和成见,行使大数据得出的结论要客不悦目中立的多。毕竟,数据不会说谎,算法永世客不悦目,不是吗?然而,ProPublica的报道挑示了另外一栽能够。通知行使公开数据,分析了佛罗里达州布劳沃德县(Broward County)1.8万人的COMPAS分数和作恶记录,得出了一个惊人的发现:尽管COMPAS的精确展望率达到了61%,在它的体系里,暗人与白人的分数分布却清晰分别。暗人更有能够被误判,即被展望为高风险却异国再犯,白人则更有能够被漏判,即被展望为矮风险却再次作恶。分别栽族间的误判 (false positive) 和漏判 (false negative) 率的差距能够高达50%。

乐趣的是,故事在这边并异国终结。在ProPublica报道发布并引首重大争议之后,COMPAS的母公司做出了正面回答。它重新在ProPublica的数据上运走了本身的算法,并公布了本身算法在分别栽族之间的分布。COMPAS争吵道,他们的体系是“公平”的,而公平按照是,在他们的算法里,无论暗人白人,展望为高风险的被告再次作恶的概率都是相通的。也就是说,倘若你采取的公平休义不是误判和漏报率,而是高风险的展望精确率 (predictive parity) 的话,COMPAS的算法并无成见和轻蔑之说。

接下来,机器学习和统计学周围的大牛们就这个题目打开了精彩的申辩,各栽关于公平的数学定义数见不鲜,一度达到21栽之多。统计学家们很快发现,COMPAS与ProPublica衡量公平的标准存在冲突。他们采用的公平休义都是抵达某一栽“公平”的手段,但倘若两个群体之间本身用来训练模型的数据存在迥异(在COMPAS的例子里,暗人的总体再犯率比白人要高),那么在统计上各栽“公平”的定义就是不走兼容的。也就是说,算法不能够兼顾ProPublica挑出的“公平” 和COMPAS挑出的“公平”。即使数学上能够会有完善的“公平”定义,在现实世界的复杂社会相关里,完善且唯一精确的“公平”是不存在的。

纳拉亚南在他2018年FATML的教程里戏谑道:现在“公平”这么炎门,倘若你想在机器学习的各大会议上灌水,能够想想怎样再多开发一些复杂的、统计学意义上的“公平”定义。这自然是玩乐话。他想进一步指出的是,光致力于发展统计学上厉肃的“公平”定义能够是徒劳的,无论在数学上有多么厉密。由于不光人类世界不能够有完善的“公平”算法,每一栽所谓的“公平”法则背后其实都是复杂的社会相关和政治诉求。

在COMPAS的例子里,案件走为人或被告最关心的能够是误判 (false positive) ,而城市居民们最关心的能够是漏判 (false negative),两者是此消彼长的相关,不能够通盘已足。那么,谁的益处答该放在前线?倘若必须作出取弃的话,环球市场算法里这条取弃的线答该画在那里?

1980年,社会学家兰登•温纳(Langdon Winner)写下了至今照样是经典名篇的《技术有政治吗》(Do artifacts have politics)。其议题在算法总揽世界的今天照样主要,能够比任何时候都更添主要。

那时温纳在科技重镇麻省理工力排多议,探讨科技产物和社会相关的复杂互动。他认为,科技产物是有政治性的,而以前政治形而上学的商议里大大矮估了科技的主要性。但这边的“政治性”并非单向度的“科技影响社会”或是“社会影响科技”;科技在与社会的复杂互动里生成,进化,并深切地嵌入和塑造那时当地的历史社会和权力相关之中。

温纳举了1940年代由添州大学钻研员在当地开发并推广的番茄收割机行为其中的一个例子。相比手动收割,机器收割能够大大挑高效果。可是,固然以效果和当代之名推广,这一新兴技术却并异国使当地居民平等地享有它的经济利润。欠缺有效的社会逆思和正当的政策收敛,腾贵的机器固然挑高了生产力和生产效果,却促进了番茄种植业的工业化和荟萃化,大大缩短了当地幼农种植者和手工收割者的做事岗位,致使多数做事者飘泊失所。望上往微不能道的幼幼机器最后以一栽令人惊讶的手段彻底重构了当地的社会和经济相关。

温纳总结到,“the thing we called ‘technologies’ are ways of building order in our world.” 吾们所说的“科技”其实是在这个世界上(重新)竖立秩序和规则的手段,算法同理:谁受好?谁受损?谁得到更大的权力?谁受到更多的迫害?谁被包含进来?谁又被倾轧在外?

每年讲完COMPAS的案例,都会有弟子质疑:你讲了那么多,详细来说吾们到底该怎么做(what are the actionable items here)?21栽分别的公平休义,吾们调试模型的时候答该操纵哪一栽?彼时吾在计算机学院浸淫稍久,深知 “actionable items”乃是社会学家和计算机学家的根本不相符,红海两分,从此无法对话。社会学家的根本方针往往并不是解决题目,并对统统声称能将复杂人类题目浅易化和算法化的路径持有质疑,而工程师的程序里少了一个括号都无法运走。每当这个时候,吾都会面露诡异微乐,祭出计算机大牛辛西娅•德沃克(Cynthia Dwork)在这场“公平大申辩”里的名言:

“Fairness” metric is assumed to be public and open to discussion and continual refinement.

当“公平”本身是社会的和政治的,算法不能够也不会是社会相关的绝缘体。吾们能做的第一个“actionable item,”就是把暗箱掀开,然后最先问,吾们想要的,到底是什么样的算法“公平”?

【参考文献】

[1] Angwin, Julia, Jeff Larson, Surya Mattu, and Lauren Kirchner. "Machine bias." ProPublica, May 23 (2016): 2016.

[2] Narayanan, Arvind. "21 definitions of fairness and their politics. (Feb.23, 2018)." In Tutorial presented at the Conference on Fairness, Accountability, and Transparency, vol. 21.

[3] Dieterich, William, Christina Mendoza, and Tim Brennan. "COMPAS risk scales: Demonstrating accuracy equity and predictive parity." Northpointe Inc (2016).

[4] Feller, Avi, Emma Pierson, Sam Corbett-Davies, and Sharad Goel. "A computer program used for bail and sentencing decisions was labeled biased against blacks. It’s actually not that clear." The Washington Post (2016).

[5] Winner, Langdon. "Do artifacts have politics?" Daedalus (1980): 121-136.

[6] Dwork, Cynthia, Moritz Hardt, Toniann Pitassi, Omer Reingold, and Richard Zemel. "Fairness through awareness." In Proceedings of the 3rd innovations in theoretical computer science conference, pp. 214-226. 2012.

-----

作者沈虹,卒业于美国伊利诺伊大学香槟分校传播学系,现任职于美国卡内基梅隆大学。她用社会学的手段钻研新兴科技。(本文来自澎湃信休,更多原创资讯请下载“澎湃信休”APP)

原标题:阴阳师捉鬼祝福选择攻略

原标题:当新生宝宝被抱回家后,一脸嫌弃的表情:这种家庭也敢生我

【现货】:神华集团年度长协煤价:557元/吨;神华外购5500K月度长协价:631元/吨;秦皇岛港市场煤实际成交价:620元/吨(来源:卓创)

原标题:你个二货,想摔死宝宝啊

原标题:狂丢59板!八一揭穿广东最大短板 没有阿联真的不行?

发表《AI社会学︱算法的21栽“公平”,你要哪一栽?》新评论

友情链接

相关介绍

2016年5月,美国著名的非盈余媒体ProPublica发外了一篇题为《机器成见》(Machine Bias) 的调查性报道。倘若之前在人造智能和机器学习周围相关公平 (fairness) 和成见 (bias) 的议题还只是幼周