重新審視深度學(xué)習(xí)時代數(shù)據(jù)的非理性效果
過去十年里，計算機(jī)視覺領(lǐng)域取得了巨大成功，這在很大程度上得直接歸功于深度學(xué)習(xí)模型在機(jī)器感知任務(wù)中的應(yīng)用。
此外，自 2012 年以來，這些系統(tǒng)的表征能力取得了長足的進(jìn)步，這歸因于：
(a) 極為復(fù)雜的更深度模型的建立;
(b) 計算能力不斷提升;
(c) 可獲得大規(guī)模的標(biāo)注數(shù)據(jù)。
盡管計算能力和模型復(fù)雜度每年都在不斷提升(已從 7 層的 AlexNet 提高到 101 層的 ResNet)，但可用數(shù)據(jù)集并未得到相應(yīng)的擴(kuò)充。與 AlexNet 相比，101 層的 ResNet 的容量要大得多，但它仍在使用同樣從 ImageNet circa 2011 獲取的 100 萬張圖像進(jìn)行訓(xùn)練。作為研究人員，我們一直想知道：如果將訓(xùn)練數(shù)據(jù)量擴(kuò)大 10 倍，準(zhǔn)確率是否會翻倍?擴(kuò)大 100 倍甚或 300 倍，準(zhǔn)確率又會如何?準(zhǔn)確率是否會遭遇平臺期?還是說數(shù)據(jù)越多，準(zhǔn)確率就越高?
過去五年里，GPU 的計算能力和模型大小在不斷提高，但令人吃驚的是，***的培訓(xùn)數(shù)據(jù)集的規(guī)模卻停滯不前。
在我們的《重新審視深度學(xué)習(xí)時代數(shù)據(jù)的非理性效果》(Revisiting Unreasonable Effectiveness of Data in Deep Learning Era) 這篇論文中，我們在揭開圍繞“海量數(shù)據(jù)”和深度學(xué)習(xí)之間關(guān)系的謎團(tuán)方面邁出了***步。我們的目標(biāo)是探究以下問題：
(a) 向現(xiàn)有算法提供更多帶有噪聲標(biāo)簽的圖像是否仍可以改善視覺表征;
(b) 分類、對象檢測和圖像分割等標(biāo)準(zhǔn)視覺任務(wù)中，數(shù)據(jù)與性能之間的本質(zhì)關(guān)系;
(c) 通過大規(guī)模學(xué)習(xí)找到適用于計算機(jī)視覺領(lǐng)域所有任務(wù)的***進(jìn)模型。
當(dāng)然，一個無法回避的問題是我們從何處獲取一個比 ImageNet 大 300 倍的數(shù)據(jù)集?在 Google，我們一直致力于自動構(gòu)建此類數(shù)據(jù)集以改善計算機(jī)視覺算法。具體而言，我們已構(gòu)建一個包含 3 億張圖像的內(nèi)部數(shù)據(jù)集(我們稱之為 JFT-300M)，這些圖像被標(biāo)記為 18291 個類別。用于標(biāo)記這些圖像的算法使用了復(fù)雜的數(shù)據(jù)組合，包括原始網(wǎng)絡(luò)信號、網(wǎng)頁與用戶反饋之間的聯(lián)系等。這為 3 億張圖像生成了 10 億多個標(biāo)簽(一張圖像可具有多個標(biāo)簽)。為***程度提高所選圖像的標(biāo)簽精度，我們通過某個算法從 10 億個圖像標(biāo)簽中選取了大約 3.75 億個標(biāo)簽。然而，這些標(biāo)簽中仍然存在大量噪聲：所選圖像的標(biāo)簽中約有 20% 帶有噪聲。由于缺乏詳盡的注解，我們無法評估標(biāo)簽的回想率。
我們的實(shí)驗(yàn)結(jié)果證實(shí)了部分假設(shè)，但也產(chǎn)生了一些意外的驚喜：
- 更好的表征學(xué)習(xí)確實(shí)大有裨益。 我們的***個觀察結(jié)果是大規(guī)模數(shù)據(jù)有助于表征學(xué)習(xí)，進(jìn)而改善了我們研究的每個視覺任務(wù)的性能表現(xiàn)。我們的研究發(fā)現(xiàn)表明：共同構(gòu)建一個大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練非常重要。同時，實(shí)驗(yàn)也表明，無監(jiān)督和半監(jiān)督表征學(xué)習(xí)方法的前景非常光明。數(shù)據(jù)規(guī)模似乎可克服標(biāo)簽方面的噪聲問題。
- 表現(xiàn)與訓(xùn)練數(shù)據(jù)的數(shù)量級呈線性遞增關(guān)系。 也許整個實(shí)驗(yàn)最驚人的發(fā)現(xiàn)就是視覺任務(wù)的表現(xiàn)和用于表征學(xué)習(xí)的訓(xùn)練數(shù)據(jù)量(對數(shù))之間的關(guān)系了。我們發(fā)現(xiàn)它們之間的關(guān)系竟然是線性的!即使訓(xùn)練圖像達(dá)到 3 億張，我們也并未觀察到對所研究的任務(wù)產(chǎn)生任何平臺效應(yīng)。
通過針對 JFT-300M 的不同子集從零開始進(jìn)行預(yù)訓(xùn)練時的對象檢測性能。X 軸是以對數(shù)表示的數(shù)據(jù)集大小，y 軸代表針對 COCO-minival 子集的 mAP@[.5,.95] 檢測性能。
- 容量至關(guān)重要。我們同樣觀察到：為了充分利用 3 億張圖像，我們需要更高的容量(更深的)模型。例如，就 ResNet-50 而言，其在 COCO 對象檢測基準(zhǔn)測試中的增益 (1.87%) 大大低于使用 ResNet-152 時的增益 (3%)。
- 新的***結(jié)果。我們的論文展示了通過使用從 JFT-300M 學(xué)到的模型在多個基準(zhǔn)中取得了新的***結(jié)果。例如，單一模型(沒有任何不必要的花哨功能)在 COCO 檢測基準(zhǔn)測試中從原來的 34.3 AP 提高到現(xiàn)在的 37.4 AP。
請注意，我們使用的訓(xùn)練機(jī)制、學(xué)習(xí)安排和參數(shù)都是基于我們使用來自 ImageNet 的 100 萬張圖像對 ConvNets 進(jìn)行訓(xùn)練后所獲得的認(rèn)識。由于我們在此項(xiàng)工作中并未搜索***超參數(shù)集(這需要極為龐大的計算量)，所以在使用這種規(guī)模的數(shù)據(jù)時，這些結(jié)果很可能并不是您能夠取得的***結(jié)果。因此，我們認(rèn)為報告的量化表現(xiàn)低估了數(shù)據(jù)的實(shí)際影響。
這項(xiàng)工作并不會關(guān)注特定任務(wù)的數(shù)據(jù)，例如探究更多的邊界框是否會影響模型表現(xiàn)等。我們認(rèn)為，雖然獲取大規(guī)模特定于任務(wù)的數(shù)據(jù)非常困難，但它應(yīng)該成為未來研究的重點(diǎn)。此外，構(gòu)建包含 3 億張圖像的數(shù)據(jù)集不應(yīng)該是我們的***目標(biāo)，作為一個社區(qū)，我們要探索的是，在采用更大規(guī)模的數(shù)據(jù)集(擁有 10 億張以上的圖像)時，是否可以繼續(xù)改善模型。
【本文是51CTO專欄機(jī)構(gòu)“谷歌開發(fā)者”的原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者(微信公眾號：Google_Developers)】
