[[382214]]

編譯：戚路北

編輯：陳彩嫻

機(jī)器學(xué)習(xí)領(lǐng)域非常火熱，新的模型、技術(shù)不斷更新非常快，要求我們?cè)谄綍r(shí)的工作和學(xué)習(xí)過程中，會(huì)需要去閱讀一些論文，跟蹤某個(gè)領(lǐng)域的最新動(dòng)態(tài)。

但讀論文經(jīng)常會(huì)有兩種不適的感覺，一是容易遺忘，二是不能提綱挈領(lǐng)。 遺忘通常是讀了后面忘記前面，或者過幾日回顧自己讀的論文完全不知道是怎么回事。 不能提綱挈領(lǐng)體現(xiàn)在喜歡逐字逐句的閱讀，沒有側(cè)重點(diǎn)的從全局來學(xué)習(xí)論文。

那么，我們應(yīng)該如何閱讀機(jī)器學(xué)習(xí)領(lǐng)域的論文?

谷歌 Robotics 研究科學(xué)家 Eric Jang 在博客上寫了一篇名為“How to Understand ML Papers Quickly”的文章，提到他的學(xué)員也經(jīng)常問他一些大同小異的問題，比如 “arXiv 上的各種論文每天都泛濫成災(zāi)，我們又該如何去選擇性地閱讀?”

他提出，閱讀大多數(shù)機(jī)器學(xué)習(xí)領(lǐng)域的論文的好處在于，你只需要問五個(gè)簡(jiǎn)單的問題，就能弄清楚論文的邏輯，并能避免很多麻煩，例如難懂的術(shù)語，糟糕的數(shù)學(xué)推導(dǎo)…

這五個(gè)問題是：

1. 函數(shù)逼近器的輸入是什么?

例如，只有一個(gè)對(duì)象居中的224x224x3 RGB 視圖。

2. 函數(shù)逼近器的輸出是什么?

例如，對(duì)應(yīng)于輸入長(zhǎng)度為1000向量的圖像。

通過這種“省略”的方式思考機(jī)器學(xué)習(xí)系統(tǒng)的輸入和輸出，如此一來，你便可以跳過算法術(shù)語，并考慮其他領(lǐng)域是否用其他方法實(shí)現(xiàn)了同樣的目的。我發(fā)現(xiàn)這種方法在閱讀“元學(xué)習(xí)”領(lǐng)域的論文時(shí)非常有用。

通過將機(jī)器學(xué)習(xí)問題視為一組輸入和預(yù)期的輸出，你可以推斷輸入是否足以預(yù)測(cè)輸出。如果不進(jìn)行此練習(xí)，你可能會(huì)隨便設(shè)置一個(gè)機(jī)器學(xué)習(xí)問題，輸出可能無法由輸入確定。因此便有可能創(chuàng)造一個(gè)引發(fā)“錯(cuò)誤”的機(jī)器學(xué)習(xí)系統(tǒng)。

3. 關(guān)于輸出的預(yù)測(cè)是以什么為代價(jià)來進(jìn)行監(jiān)督的?這個(gè)特定目標(biāo)對(duì)世界又有什么樣的假設(shè)?

機(jī)器學(xué)習(xí)模型是通過組合偏置和數(shù)據(jù)而形成的。有時(shí)偏置很強(qiáng)，有時(shí)又很弱。為了使模型更好地泛化，你需要添加更多偏差或者添加更多的無偏數(shù)據(jù)。正如“天下沒有免費(fèi)的午餐”理論所指出的，沒有哪一個(gè)優(yōu)秀的模型是能輕輕松松做出來的。

舉一個(gè)例子：許多最優(yōu)控制算法都假設(shè)一個(gè)穩(wěn)定而連續(xù)的數(shù)據(jù)生成過程，即馬爾可夫決策過程(MDP)。在MDP中，"狀態(tài)"和"行動(dòng)"通過環(huán)境的過渡動(dòng)態(tài)確定映射到"下一個(gè)狀態(tài)、反饋以及是否結(jié)束"。這種結(jié)構(gòu)雖然非常尋常，但可以將損失進(jìn)行公式化表達(dá)，使學(xué)習(xí)Q值遵循貝爾曼方程。

4. 經(jīng)過訓(xùn)練后，模型可以從以前聞所未聞的輸入/輸出中概括出什么?

由于從數(shù)據(jù)或模型的體系結(jié)構(gòu)中捕獲了信息，因此機(jī)器學(xué)習(xí)系統(tǒng)可以很好地泛華。近年來，我們看到泛化的水平越來越高，因此在閱讀論文時(shí)，我會(huì)去觀察那些令人驚訝的泛化功能以及它們來自何處(數(shù)據(jù)，偏置或兩者兼而有之)。

更好的歸納偏置在該領(lǐng)域存在很多噪音，例如因果推理、符號(hào)方法或以對(duì)象為中心的表示。這些是構(gòu)建穩(wěn)健而且可靠的機(jī)器學(xué)習(xí)系統(tǒng)的重要工具，而且我知道分隔結(jié)構(gòu)化數(shù)據(jù)與模型的偏置界限可能很模糊。話雖如此，但讓作者感到困惑的是，為什么有那么多研究人員認(rèn)為推動(dòng)機(jī)器學(xué)習(xí)前進(jìn)的方式是減少學(xué)習(xí)量并增加硬編碼行為的量。

我們之所以開展“機(jī)器學(xué)習(xí)”的科研工作，恰恰是因?yàn)橛行┦虑槲覀儾恢廊绾稳ミM(jìn)行硬編碼。作為機(jī)器學(xué)習(xí)研究人員，我們應(yīng)該將工作重點(diǎn)放在改善學(xué)習(xí)方法上，而將硬編碼和符號(hào)方法留給機(jī)器硬編碼研究人員使用。

5. 結(jié)論是否可證偽?

那些聲稱不能證偽的論文不在科學(xué)領(lǐng)域之內(nèi)。

原文鏈接：https://blog.evjang.com/2021/01/understanding-ml.html

【本文是51CTO專欄機(jī)構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號(hào)“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文