算法偏見就怪數據集,？MIT糾偏算法自動識別「弱勢群體」

小天使_ag 2019-01-29

展開全文

選自venturebeat

作者：KYLE WIGGERS

機器之心編譯

機器之心編輯部

長久以來,，我們都將注意力放在了算法性能上，而對于算法偏見,，我們并沒有很完善的研究,。通常直觀的想法就是修正數據集，以構建類別平衡的訓練集,，但是這又額外地引入了工作量,。在 MIT 的 AAAI 2019 新研究中，作者借助 VAE 學習訓練數據的潛在結構,，并以學到的潛在分布給數據點加權從而解決算法偏見問題,。

算法中的偏見可能比你想象得還要普遍。發(fā)表于 2012 年的《Face Recognition Performance: Role of Demographic Information》一文表明,，Cognitec 的人臉識別系統對非裔美國人的識別準確率比白人低 5 到 10 個百分點,，《An other-race effect for face recognition algorithms》一文發(fā)現，中國,、日本和韓國開發(fā)的模型不太容易區(qū)分白種人和東亞人,。最近的一份研究表明，谷歌和亞馬遜的語音助手在理解非美國口音方面的準確率要低 30%,?！禡an is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings》一文發(fā)現,，Google News 文章中的詞嵌入存在對于男性和女性的刻板印象。

這是一個問題,。但幸運的是,，MIT 的研究者已經探索出了解決之道。

在論文《Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure》中,，MIT CSAIL 的科學家們展示了一種可以通過重新采樣來自動消除數據偏見的 AI 系統,。他們表示，在專門測試計算機視覺系統中偏見的數據集上,，該系統顯示出優(yōu)異的性能,，分類偏見也得以降低。該論文將在本周舉辦的 AAAI 大會上作為 Poster 論文進行展示,。

「人臉識別通常被視為一個已經得到解決的問題,，盡管很明顯，人們使用的數據并未得到適當審查,，」上述論文一作之一 Alexander Amini 說道,。「矯正這些問題至關重要,，因為這類算法已經用在了安全,、執(zhí)法及其他領域?！?/p>

這不是 MIT CSAIL 第一次解決該問題,，在 2018 年的一篇論文里，David Sontag 教授及其同事描述了一種在不降低預測結果準確性的前提下減少 AI 偏見的方法,。但本文提出的方法是一種新穎的,、半監(jiān)督的端到端深度學習算法，它同時學習所需任務和數據結構,，如面部檢測任務和訓練數據的潛在結構,。后者使其能夠揭開訓練數據中隱藏或隱含的偏見，并能夠在訓練期間自動去除這些偏見,，而無需數據預處理或注釋,。

去除偏見的原理

研究人員所設計的人工智能系統核心是一個變分自編碼器（VAE），這是一種常見的無監(jiān)督神經網絡,，與 GAN 一樣經常用于圖像生成任務,。與自編碼器一樣，變分自編碼器主要包含編碼器和解碼器,。其中編碼器將原始輸入映射到特征表示中,，而解碼器將特征表示作為輸入，利用它們進行預測并生成輸出。最后模型會對比編碼器的輸入與解碼器輸出之間的差別,，并將它們作為損失函數而執(zhí)行訓練,。

在本文所提出的 VAE 下，即去偏見 VAE（DB-VAE）,，編碼器部分在給定數據點的情況下學習隱變量真實分布的近似值，而解碼器則期望基于潛在空間重構輸入數據,。解碼重構使得在訓練期間能夠以無監(jiān)督的方式學習隱變量,。

為了驗證該去偏見算法在現實問題上具有「重要的社會影響」，研究人員在包含 40 萬張圖像的數據集上訓練 DB-VAE 模型,，分別將其中 80% 的圖像作為訓練集,，20% 的圖像作為驗證集。然后他們在 PPB 測試數據集上評估該模型,，該數據集包含 1270 張來自非洲和歐洲不同國家國會議員的圖像,。

結果很不錯，據研究人員表示 DB-VAE 不僅學習面部特征（如膚色,、頭發(fā)）,，還學習諸如性別和年齡等其它特征。將在個體人口統計學（種族/性別）和整個 PPB 數據集上訓練的去偏見模型與普通模型相比,，去偏見模型的分類準確率明顯增加,，且針對種族和性別的分類偏見明顯下降。該研究團隊表示,，這是朝著公平和無偏見 AI 系統發(fā)展的重要一步,。

「公平系統的開發(fā)和部署對于防止意外的歧視以及確保這些算法被長期接納至關重要。我們希望該算法能夠促進現代人工智能系統算法的公平性,?！购现弑硎尽?/p>

取得進步

過去十多年有很多失誤都描述了 AI 潛在的偏見,，但這并不意味著我們沒有在更準確,、偏見更少的系統方面取得進展。

去年 6 月份,，微軟與致力于人工智能公平性的專家通力合作,，修正和擴展了用于訓練 Face API 的數據集。Face API 是微軟 Azure 中的一個 API,，它提供預訓練算法以檢測,、識別和分析人臉圖像中的屬性。新數據通過調整膚色,、性別和年齡等所占的比例,，能夠將膚色較深的男性和女性之間的識別錯誤率降低 20 倍，單單女性的識別誤差率就能降低 9 倍。

與此同時,，一大類新興的算法糾偏工具有望實現更加公正的人工智能,。

去年 5 月，Facebook 發(fā)布了 Fairness Flow,。如果一個算法因為人類的種族,、性別、和年齡等因素做出不公平的判斷,，Fairness Flow 會自動預警以提醒開發(fā)者,。初創(chuàng)公司 Pymetrics 同樣開源了他們用于檢測偏見的工具 Audit AI；Accenture 發(fā)布了一個工具包以自動檢測 AI 算法中的偏見,，并幫助數據科學家緩解這些偏見,。此外在去年 9 月份，谷歌推出了新工具 What-If,，這是 TensorBoard 中用于檢測偏見的工具,，也表明機器學習框架 TensorFlow 開始關注這種算法的偏見。

論文：Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure

論文鏈接：http://www./wp-content/papers/main/AIES-19_paper_220.pdf

摘要：最近的研究揭示了基于現代機器學習的系統容易產生偏見,，尤其是對于訓練數據中缺乏代表性的社會群體,。在本文中，我們開發(fā)了一種新的,、可調的算法來減少訓練數據中隱藏的潛在偏見,。我們的算法將原始的學習任務和變分自編碼器相融合，以學習訓練數據中的潛在結構,，然后在訓練時自適應地使用學到的潛在分布給特定數據點的重要性重新加權,。雖然我們的方法可以泛化到不同的數據模式和學習任務上，但在本研究中我們主要用該算法來解決面部檢測系統中的種族和性別偏見問題,。我們在 Pilot Parliaments Benchmark（PPB）數據集上評估了該算法,，這是一個專為評估計算機視覺系統中的偏見而設計的數據集。評估結果表明,，我們的去偏見方法提高了整體性能,，降低了分類偏見。