本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請(qǐng)至雷鋒網(wǎng)官網(wǎng)申請(qǐng)授權(quán)。

伴隨深度學(xué)習(xí)的不斷日常化，數(shù)據(jù)集中的偏見(jiàn)（bias）和公正性（fairness）已經(jīng)成為一個(gè)熱門(mén)研究方向。

偏見(jiàn)在AI領(lǐng)域是一個(gè)很棘手的話題：有些偏見(jiàn)是有益的，例如噪聲數(shù)據(jù)可以增加模型的魯棒性，有些偏見(jiàn)是有害的，例如傾向?qū)τ猩朔N識(shí)別錯(cuò)誤。

而且，當(dāng)我們得到一個(gè)不完美的模型的時(shí)候，其中的數(shù)據(jù)集到底存在什么偏見(jiàn)？這些偏見(jiàn)是如何產(chǎn)生的？

谷歌的PAIR （People + AI Research）團(tuán)隊(duì)最近發(fā)表了一篇博文，用一個(gè)很簡(jiǎn)單有趣的例子討論了這些問(wèn)題。

原文鏈接：https://pair.withgoogle. com/explorables/dataset-worldviews/

1 有偏見(jiàn)的分類(lèi)

假設(shè)我們擁有如下所示的不同形狀的數(shù)據(jù)集，它們對(duì)應(yīng)的標(biāo)簽是有無(wú)陰影，如下圖。

利用頁(yè)面上的交互式分類(lèi)器，可以分類(lèi)出如下的結(jié)果，并得出相應(yīng)的準(zhǔn)確性。

模型并不完美，為了對(duì)結(jié)果進(jìn)行糾正，你可能想知道模型正在犯什么錯(cuò)誤，或者，數(shù)據(jù)存在哪種類(lèi)型的偏見(jiàn)？

2 公正性分析

由于各個(gè)圖形的主要區(qū)別在于形狀，一個(gè)可能的偏見(jiàn)存在于形狀的差別。通過(guò)觀察你可能認(rèn)為三個(gè)最主要的形狀主要是圓、三角形和矩形。為了證實(shí)這個(gè)假設(shè)，你要確信你的模型在面對(duì)圓、三角形和矩形的時(shí)候模型的表現(xiàn)能力的一樣的。接下來(lái)我們來(lái)做公正性分析（fairness analysis）。

首先我們需要對(duì)每個(gè)的形狀進(jìn)行標(biāo)注，但是一個(gè)問(wèn)題是，有些形狀并不能很肯定地確定是什么形狀，這時(shí)候有兩種策略，一是把這種形狀判斷為最有可能是圓、三角形和矩形（with their best guess)；一種是給出一個(gè)選項(xiàng)：上述三種形狀都不是(as "other")。之后我們分析模型對(duì)于每一類(lèi)形狀的分類(lèi)準(zhǔn)確率。該交互式頁(yè)面給了兩種策略的結(jié)果：

策略一：尋找最有可能的形狀：

第一種策略表明分類(lèi)器對(duì)于矩形分類(lèi)的結(jié)果最好，圓次之，三角形最差。不過(guò)這可以表明模型對(duì)三角形存在偏見(jiàn)嗎？我們?cè)陧?yè)面上切換第二種策略。

策略二：上述都不是：

結(jié)果發(fā)生了變化！第二種策略則表明分類(lèi)器對(duì)于三角形和矩形分類(lèi)結(jié)果都最好，圓卻最差。我們對(duì)于偏見(jiàn)的理解因?yàn)槲覀冎贫ǚ诸?lèi)的策略不同而不同，換言之，每一種分類(lèi)方式代表著采取不同的角度看待哪些是重要的分類(lèi)特征。而決定數(shù)據(jù)集和最終模型決策的是你——制定策略的人。也就是每個(gè)數(shù)據(jù)集都代表一種“世界觀”，其收集背后莫不代表著人的意志。

所以，再回過(guò)頭來(lái)想想，還有哪些策略或者規(guī)則的指定可能會(huì)影響我們的對(duì)于公正性的判斷？

對(duì)，我們當(dāng)初對(duì)于分類(lèi)的標(biāo)準(zhǔn)是依照形狀，比如圓、三角形或者矩形，這也是我們?nèi)藶槎ǖ臉?biāo)準(zhǔn)，如果換成”尖的“或者”圓的“呢？或者“小的”或者“大的”呢？下圖給出了不同評(píng)價(jià)標(biāo)準(zhǔn)下，正確和錯(cuò)誤分類(lèi)的個(gè)體：

圖注：當(dāng)類(lèi)別標(biāo)準(zhǔn)是“尖的”或者“圓的”，以及其它模糊類(lèi)別是“尋找最有可能的形狀”的時(shí)候的分類(lèi)結(jié)果

圖注：當(dāng)類(lèi)別標(biāo)準(zhǔn)是“小”或者“大的”，以及其它模糊類(lèi)別是“尋找最有可能的形狀”的時(shí)候的分類(lèi)結(jié)果

可以看到，每當(dāng)選擇一種標(biāo)準(zhǔn)的時(shí)候，所得到的錯(cuò)誤分類(lèi)的數(shù)據(jù)分布也都不同，因而每種情況下對(duì)于實(shí)例的偏見(jiàn)程度或者公正性分析也都會(huì)出現(xiàn)偏差——偏見(jiàn)似乎也有了偏見(jiàn)。

3 標(biāo)簽在講述故事

回顧一下，假設(shè)你是收集該數(shù)據(jù)集的負(fù)責(zé)成員，剛開(kāi)始你做出關(guān)于與偏見(jiàn)相關(guān)的分類(lèi)類(lèi)別的決策，所有的形狀實(shí)例到底怎么分？你按照“尖的”和“圓的”，也就是下圖：

其它標(biāo)注者試圖回答下述問(wèn)題：這個(gè)圖形是“尖的”還是“圓的”？

之后，收集完畢，你根據(jù)上述錯(cuò)誤類(lèi)別分析，你可以得到分類(lèi)器在尖的形狀表現(xiàn)的好，圓的則表現(xiàn)的差，之后便有了如下的報(bào)告：

然后，如果一開(kāi)始的評(píng)價(jià)標(biāo)準(zhǔn)是“大的”還是“小的”，重復(fù)上述步驟，你卻可以得到分類(lèi)器在小的形狀上分類(lèi)效果好，于是便有了這樣的故事...

想要避免這個(gè)問(wèn)題的一個(gè)自然的解決方式是，收集更多的數(shù)據(jù)和更多的特征：如果我們有足夠多的數(shù)據(jù)，知道它們足夠多的細(xì)節(jié)，我們將可以避免做出不同的分類(lèi)決策，從而產(chǎn)生唯一的偏見(jiàn)的影響因子。

不過(guò)，似乎并非這樣。想象一下，當(dāng)我們描述我們周?chē)囊患虑榈臅r(shí)候，不管是向一個(gè)朋友講述一件事情的時(shí)候，還是告知計(jì)算機(jī)關(guān)于形狀的事情的時(shí)候，我們都會(huì)自覺(jué)不自覺(jué)地選擇自己認(rèn)為的最重要的部分，或者選擇用什么工具去傳遞它。

不管我們是否這么想，我們無(wú)時(shí)無(wú)刻不在做分類(lèi)——

正如我們?cè)谛螤畹睦又兴吹降哪菢樱械倪x擇都使得某些特征比其它的特征更加重要，使得一些特征的差別是可見(jiàn)的一些卻可被忽略，都使得某些事物變得容易分類(lèi)有些成為噪聲點(diǎn)。

是分類(lèi)的標(biāo)準(zhǔn)在講述整個(gè)故事。

4 真實(shí)的場(chǎng)景

如果我們?cè)倩仡櫿鎸?shí)的機(jī)器學(xué)習(xí)應(yīng)用，比如監(jiān)督學(xué)習(xí)任務(wù)中的目標(biāo)檢測(cè)任務(wù)。我們想象有下面一幅圖片：

我們想在這樣的數(shù)據(jù)集上打標(biāo)注，因而我們想先對(duì)其中的目標(biāo)物體進(jìn)行標(biāo)注。其中的一種標(biāo)注如下：

這樣已經(jīng)看起來(lái)很客觀了，對(duì)嗎？畢竟山就是山、樹(shù)就是樹(shù)。可是即使這樣，同一張圖的同一個(gè)區(qū)域的標(biāo)簽也可能不一樣，比如這樣：

山可以具體化名稱(chēng)，樹(shù)也可以具體化“沒(méi)有醫(yī)用的植物”。

是的，并沒(méi)有一個(gè)普遍的方法去對(duì)待每一個(gè)物體、每一個(gè)單詞或者每一張圖片。數(shù)據(jù)集總是特定時(shí)間空間和條件的結(jié)果。它們是社會(huì)的產(chǎn)物，它們有歷史觀，它們有政治色彩。而忽略這些會(huì)帶來(lái)非常現(xiàn)實(shí)的后果。

那我們應(yīng)該怎么對(duì)待這些信息呢？

一個(gè)很好的起點(diǎn)是反思數(shù)據(jù)所在的上下文，并且始終對(duì)數(shù)據(jù)保持好奇。

很難去判斷一個(gè)數(shù)據(jù)集本身的價(jià)值——它們是客觀的，普遍的，中立的嗎——它可能只是反映一種你自己習(xí)慣的世界觀。所以理解你自己的世界觀可以告訴你所謂客觀數(shù)據(jù)的局限性。時(shí)刻問(wèn)自己：你對(duì)這個(gè)世界做出了什么假設(shè)？什么是感覺(jué)像是常識(shí)？什么有些違背常理？重要的是，對(duì)于數(shù)據(jù)集不應(yīng)該忘記考慮：誰(shuí)收集的它？為什么會(huì)收集它？誰(shuí)付錢(qián)收集了它？所謂的”真值“標(biāo)簽來(lái)自哪里？

之后，你甚至可能會(huì)發(fā)現(xiàn)自己在質(zhì)疑收集數(shù)據(jù)過(guò)程中的某些假設(shè)，從而對(duì)你的分類(lèi)任務(wù)有更加整體地理解。

如果對(duì)你的數(shù)據(jù)有很多問(wèn)題，你就已經(jīng)有很好的開(kāi)端了。

5 研究團(tuán)隊(duì)介紹

People + AI Research (PAIR) 是 Google 的一個(gè)跨學(xué)科團(tuán)隊(duì)，通過(guò)基礎(chǔ)研究、構(gòu)建工具、創(chuàng)建設(shè)計(jì)框架以及與不同社區(qū)合作來(lái)探索人工智能的人性方面。

團(tuán)隊(duì)的宗旨讓機(jī)器學(xué)習(xí)發(fā)揮其積極潛力，因?yàn)樗枰哂袕V泛的參與性，涉及到它影響的社區(qū)，并由不同的公民、政策制定者、活動(dòng)家、藝術(shù)家等群體指導(dǎo)。

該團(tuán)隊(duì)開(kāi)發(fā)了很多有趣的可視化交互頁(yè)面，探討了很多有趣的AI+公正性或者可解釋性的課題。快去試試吧！?