面部識(shí)別系統(tǒng)長(zhǎng)期以來(lái)一直在為女性和色彩人群提供更高的錯(cuò)誤率

昨天，亞馬遜安靜的Rekognition計(jì)劃變得非常公開(kāi)，因?yàn)楸奔又軦CLU獲得的新文件顯示該系統(tǒng)與奧蘭多市和摩托羅拉解決方案等警察攝像機(jī)供應(yīng)商合作，提供積極的新型實(shí)時(shí)面部識(shí)別服務(wù)。亞馬遜堅(jiān)持認(rèn)為該服務(wù)是一種簡(jiǎn)單的對(duì)象識(shí)別工具，僅用于法律目的。但即使我們接受公司的承諾，該項(xiàng)目也會(huì)引起嚴(yán)重關(guān)注，特別是在種族偏見(jiàn)方面。

面部識(shí)別系統(tǒng)長(zhǎng)期以來(lái)一直在為女性和色彩人群提供更高的錯(cuò)誤率 - 錯(cuò)誤率可以直接轉(zhuǎn)化為邊緣化群體的更多停留和逮捕。雖然有些公司已通過(guò)公開(kāi)偏見(jiàn)測(cè)試做出回應(yīng)，但亞馬遜尚未共享任何有關(guān)該問(wèn)題的數(shù)據(jù)，如果它根本收集數(shù)據(jù)的話。與此同時(shí)，它已經(jīng)在美國(guó)各個(gè)城市部署其軟件，其增長(zhǎng)受到世界上最大的云基礎(chǔ)設(shè)施之一的推動(dòng)。對(duì)于任何擔(dān)心算法偏見(jiàn)的人來(lái)說(shuō)，這是一個(gè)可怕的想法。

對(duì)于曾參與昨天報(bào)告的ACLU-NC的Matt Cagle來(lái)說(shuō)，偏見(jiàn)的可能性是系統(tǒng)最大的問(wèn)題之一。“我們對(duì)亞馬遜明顯無(wú)法理解其產(chǎn)品對(duì)真人的影響感到震驚，”Cagle說(shuō)。“人臉識(shí)別是一種有偏見(jiàn)的技術(shù)。它不會(huì)使社區(qū)更安全。它只是為更大的歧視性監(jiān)視和警務(wù)提供動(dòng)力。“

最具體的問(wèn)題是錯(cuò)誤的識(shí)別。警方通常使用面部識(shí)別來(lái)尋找特定的嫌疑人，將可疑照片與相機(jī)鏡頭或照片陣列進(jìn)行比較。但是白人受試者產(chǎn)生錯(cuò)誤匹配的可能性始終低于黑人受試者，這是在許多算法中發(fā)現(xiàn)的偏見(jiàn)。從最基本的角度來(lái)看，這意味著面部識(shí)別系統(tǒng)會(huì)給非白人帶來(lái)非法指控和逮捕的額外威脅。偏見(jiàn)似乎來(lái)自用于訓(xùn)練算法的數(shù)據(jù)，這通常會(huì)使白人和男性產(chǎn)生偏差。有可能解決這個(gè)問(wèn)題，但沒(méi)有公開(kāi)證據(jù)表明亞馬遜正在解決這個(gè)問(wèn)題。

到目前為止，Rekognition沒(méi)有共享數(shù)據(jù)，這不是一個(gè)好兆頭。該項(xiàng)目擁有廣泛的開(kāi)發(fā)人員文檔，涉及從泳衣檢測(cè)到名人隱私要求的所有內(nèi)容，但沒(méi)有任何關(guān)于種族偏見(jiàn)的可能性。ACLU的報(bào)告昨天破了之后，我直接詢問(wèn)了亞馬遜公司是否有任何有關(guān)Rekognition偏差測(cè)試的數(shù)據(jù)，但到目前為止，沒(méi)有任何數(shù)據(jù)出現(xiàn)過(guò)。

這是一個(gè)明顯的疏忽，部分原因是公共測(cè)試在其他面部識(shí)別公司中相對(duì)普遍。一年多以來(lái)，作為一個(gè)名為面部識(shí)別供應(yīng)商測(cè)試(FRVT)的政府項(xiàng)目的一部分，已有數(shù)十家公司在公共場(chǎng)合測(cè)量他們的系統(tǒng)。FRVT由美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院運(yùn)行，是我們對(duì)算法偏差進(jìn)行的最系統(tǒng)的研究之一。供應(yīng)商提交算法，NIST通過(guò)一組受控測(cè)試運(yùn)行它們，盡可能少地報(bào)告結(jié)果。

由此產(chǎn)生的報(bào)告可以向您展示60種不同算法的錯(cuò)誤率如何在種族和性別偏見(jiàn)中發(fā)揮作用。它看起來(lái)像這樣：

這基本上就是偏見(jiàn)。線越高，錯(cuò)誤率越高。因此，在紅線高于藍(lán)線的任何地方，你都會(huì)看到種族偏見(jiàn)。只要整條線高于虛線，你就會(huì)看到性別偏見(jiàn)。(從技術(shù)上講，X和Y軸是假陽(yáng)性和假陰性的比率，但實(shí)質(zhì)上，更高的更差。)通過(guò)圖表，您可以看到偏差是一個(gè)行業(yè)范圍的問(wèn)題，但它也是一個(gè)可解決的問(wèn)題。來(lái)自NEC和Tongyi Trans的最佳算法幾乎沒(méi)有顯示任何線條之間的差距，大概是因?yàn)楣疽恢痹谘芯坑?xùn)練數(shù)據(jù)集，直到他們解決了問(wèn)題。

關(guān)于此圖表的另一個(gè)重要事項(xiàng)：亞馬遜不在其中。FRVT是一個(gè)嚴(yán)格自愿的過(guò)程，面向試圖給人留下良好印象的聯(lián)邦承包商，所以亞馬遜不在名單上并不奇怪。不過(guò)，值得考慮的原因不是。您可以提出商業(yè)機(jī)密，但已經(jīng)有60種算法排名，很難說(shuō)參與此類測(cè)試會(huì)受到很多懲罰。但是，如果沒(méi)有一些外部力量迫使亞馬遜進(jìn)入它，它就沒(méi)有理由讓它登錄。

我們經(jīng)常談?wù)撍惴ㄆ?jiàn)，好像它是邪惡的魔法，但在這些方面，問(wèn)題很簡(jiǎn)單。亞馬遜和它喜歡的公司需要在這些系統(tǒng)推出之前公開(kāi)偏見(jiàn)評(píng)論。有很多方法可以做到這一點(diǎn)，無(wú)論是自愿的行業(yè)參與，如FRVT還是州級(jí)透明度法，這些法律在刑事司法算法中越來(lái)越受歡迎。這可能是嚴(yán)格的規(guī)定或輕觸規(guī)范。但是當(dāng)這樣的算法在公共場(chǎng)合使用時(shí)，我們應(yīng)該對(duì)它的工作效果和失敗感有所了解。

亞馬遜龐大的云基礎(chǔ)設(shè)施使其成為面部識(shí)別行業(yè)的一個(gè)令人生畏的競(jìng)爭(zhēng)對(duì)手，其實(shí)時(shí)試點(diǎn)顯示，它已經(jīng)開(kāi)始超越其更透明的競(jìng)爭(zhēng)對(duì)手。如果你擔(dān)心有偏見(jiàn)的算法會(huì)滑入野外，這是一個(gè)令人不安的想法。我們知道在這些類型的系統(tǒng)中，偏差是可能的，甚至是可能的。問(wèn)題是：亞馬遜將采取什么措施?