CVPR 2022：微笑識別也帶性別歧視？浙大武大聯合螞蟻Adobe搞了個公平性提升框架

作者：董小威

武漢大學

AI模型存在偏見怎麼辦？

近年來，AI在多個領域展現出卓越的效能，給人類生活帶來便捷和改善。

與此同時，不少AI系統被發現存在對特定群體的偏見或者歧視現象。

犯罪預測系統COMPAS在美國被廣泛使用，通過預測再次犯罪的可能性來指導判刑。

研究者發現，相比於白人，黑人被預測為高暴力犯罪風險的可能性竟然高 77% 。這裡就存在一個嚴肅的問題：犯罪與否難道能由膚色來決定？

我們經常使用的搜尋引擎也普遍存在偏見。如果搜尋 “護士” 的圖片，返回的結果中大部分都是女性。

亞馬遜的員工招聘系統，被曝出傾向於給男性打高分，給女性打低分。

為什麼AI系統存在偏見？它是如何學會的？多半是資料教會了它。

例如，在亞馬遜的僱員資料中，男性遠多於女性，導致AI學到了性別和錄用間的虛假關聯，誤以為男性更有資格被錄用。

針對這一問題，研究者提出了多種公平性提升方案，但它們本質上都要修改已部署的深度學習模型。

“如果已部署上線的深度學習模型存在偏見，如何在不修改模型的情況下提升公平性呢？”浙江大學王志波教授提出了這個問題。

針對該問題，浙大王志波和任奎團隊聯合武漢大學、螞蟻集團與Adobe公司，提出了一種基於對抗性擾動的深度學習模型公平性提升方案，在無須改變已部署模型的情況下提升系統的公平性。

該方案的基本思想是： 通過自適應地對輸入資料新增對抗性擾動，阻止模型提取出敏感屬性相關資訊，保留目標任務相關資訊，從而使得模型公平地對待不同敏感屬性的群體，給出公平的預測結果。

公平性提升方案FAAP

FAAP框架包含 已部署的模型 、 擾動生成器 和 判別器 三個部分：

首先，用 擾動生成器 對影象新增對抗性擾動，擾動後的影象會輸入到部署模型的特徵提取器，獲得影象的隱空間表示，並分別輸入到標籤預測器和判別器。

接著衡量擾動後的影象中包含的 敏感屬性 的資訊，訓練判別器從隱空間表示中預測敏感屬性，並對判別器進行更新。

之後對擾動生成器進行更新，欺騙判別器，使擾動後的影象在隱空間表示中不包含敏感屬性的資訊，同時使標籤預測器的預測結果準確。

對以上步驟進行迭代，獲得最終的擾動生成器，作為資料預處理單元，為已有的AI系統提升公平性。

模型預測真的變公平了嗎？

使用 T-SNE 處理模型特徵空間的輸出，可以發現，帶有性別偏見的模型，在特徵空間能分辨出原始影象中不同性別的樣本，因而區別對待不同性別的人群。相比之下，該方案讓具有不同敏感屬性的樣本在特徵空間發生混淆，使得它們被模型公平對待：

該項研究首次考慮在不改變深度學習模型的前提下提升公平性，提出的方案更貼合真實應用場景。

對於一般的部署模型，在基本不影響準確率的情況下，該方案可以大幅提升公平性，例如，在公平性指標DP和DEO上平均能夠獲得27.5%和66.1%的提升。

目前，該研究成果的相關論文“Fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models”已被CVPR 2022錄用。

論文地址：

http://arxiv.org/abs/2203.01584

— 完 —

「人工智慧」、「智慧汽車」 微信社群邀你加入！

歡迎關注人工智慧、智慧汽車的小夥伴們加入我們，與AI從業者交流、切磋，不錯過最新行業發展&技術進展。

ps.加好友請務必備註您的姓名-公司-職位哦~

點這裡 :point_down: 關注我，記得標星哦～

一鍵三連「分享」、「點贊」和「在看」

科技前沿進展日日相見~ 返回搜狐，檢視更多

責任編輯：