2020年是非常具有挑戰(zhàn)性的一年，就我個(gè)人而言，也是一個(gè)重要的里程碑 —— 從Cornell大學(xué)獲得計(jì)算機(jī)科學(xué)博士學(xué)位。這是一個(gè)六年的旅程，我作為機(jī)器學(xué)習(xí)研究人員的個(gè)人成長，從第一次被拒稿到識(shí)別出一個(gè)更廣泛的研究前景，也發(fā)生在整個(gè)領(lǐng)域的快速增長和變化的背景下。

[[375459]]

隨著今年即將結(jié)束，我總結(jié)了一些我的思考以及從我的(機(jī)器學(xué)習(xí))博士經(jīng)歷中學(xué)到的教訓(xùn)。我討論的主題包括對(duì)未來的期望，在讀博士期間常見的挑戰(zhàn)(以及一些幫助挑戰(zhàn)的策略)，跟上論文發(fā)布的步伐，研究的社區(qū)性質(zhì)并發(fā)展處一個(gè)研究愿景。我希望這些主題對(duì)指導(dǎo)博士和機(jī)器學(xué)習(xí)的研究有幫助!

對(duì)讀博士的期望

在這篇文章的標(biāo)題中，我將博士學(xué)位稱為一段“旅程”，這是一個(gè)經(jīng)常被低估的方面，尤其是那些剛從本科畢業(yè)的人(這也是我的經(jīng)歷)。典型的機(jī)器學(xué)習(xí)博士是相對(duì)非結(jié)構(gòu)化的5 - 6年的時(shí)間，在這期間，不僅可以學(xué)習(xí)到如何做研究該領(lǐng)域的知識(shí)，你還能夠開發(fā)出個(gè)人對(duì)特定問題的偏好。

這些不斷變化的個(gè)人偏好將影響你決定從事的研究類型，甚至你博士之后選擇的職業(yè)道路。但尤其是在讀博士的初期，很難預(yù)測(cè)這些個(gè)人觀點(diǎn)將如何演變。

就我而言，開始讀博士時(shí)，我完全假定自己會(huì)留在工業(yè)界，讀了一段時(shí)間后，我開始認(rèn)真考慮學(xué)術(shù)界的問題，最后做出了一個(gè)非常艱難的決定：拒絕學(xué)術(shù)界的邀請(qǐng)，繼續(xù)留在工業(yè)界。

所以進(jìn)入博士階段，有助于一步一步向前走，并專注于獲得的經(jīng)驗(yàn)(學(xué)習(xí)/研究/社區(qū)參與)，而不是一個(gè)非常具體的期望結(jié)果(這很容易變化，也會(huì)添加不必要的壓力。)

這個(gè)旅途中的一些常見的挑戰(zhàn)

攻讀博士學(xué)位是一個(gè)非常有益的經(jīng)歷，尤其是在機(jī)器學(xué)習(xí)方面，它提供了一個(gè)為理解基礎(chǔ)科學(xué)和有影響力的技術(shù)部署做出貢獻(xiàn)的機(jī)會(huì)。我非常感謝我的博士學(xué)位給了我很多機(jī)會(huì)去體驗(yàn)這兩種體驗(yàn)!然而，博士學(xué)位的持續(xù)時(shí)間和非結(jié)構(gòu)化也會(huì)使其具有挑戰(zhàn)性。我的旅程肯定是有起有落的，在不同的時(shí)候，我掙扎于感覺到孤立，完全被卡住，甚至試圖跟上快速進(jìn)展的步伐而不知所措?；仡欉^去，通過與同齡人的討論，我現(xiàn)在知道，不幸的是，這些低谷可能是相當(dāng)普遍的。但因?yàn)檫@些經(jīng)歷是很多人共有的，所以也可以有一些策略來克服它們。下面我將討論其中的一些經(jīng)驗(yàn)和策略。

感覺完全被卡住

一個(gè)很常見的挑戰(zhàn)就是感覺完全被卡住了，不管是在某個(gè)特定項(xiàng)目上還是在整個(gè)研究過程中。

如果你面臨的挑戰(zhàn)是一個(gè)具體的項(xiàng)目，你已經(jīng)付出了很大的努力，但它仍然沒有發(fā)揮作用，那么一些策略可能會(huì)有所幫助：

• 寫一篇文章：收集所有的部分實(shí)驗(yàn)結(jié)果，數(shù)學(xué)見解，草草記下的動(dòng)機(jī)等，并花時(shí)間把這些都放到一起，組成一篇文章。這有助于讓我們了解關(guān)于事物的現(xiàn)狀和重要的差距。
• 關(guān)鍵點(diǎn)：如果項(xiàng)目的某個(gè)特定部分不可行，是否有可能重新定義問題(可能從相關(guān)工作中獲得靈感)，使其更容易處理?
• 形成聯(lián)系：當(dāng)前項(xiàng)目所關(guān)注的內(nèi)容與其他研究領(lǐng)域之間是否存在聯(lián)系?在這個(gè)項(xiàng)目中可以探索這種聯(lián)系嗎?這既有助于項(xiàng)目的進(jìn)展，也有助于使項(xiàng)目與更廣泛的社區(qū)相關(guān)。
• 關(guān)于寫作的反饋：從研究社區(qū)的同行、合作者和朋友那里獲得關(guān)于項(xiàng)目寫作的反饋可能也很有幫助。他們可能會(huì)提供新的觀點(diǎn)或提出改進(jìn)建議。
• Workshop submission：提交Workshop也很有用。這也提供了一個(gè)幫助收集所有研究結(jié)果并獲得有用反饋的機(jī)會(huì)。(一段時(shí)間以來，我從機(jī)器學(xué)習(xí)會(huì)議的研討會(huì)中收獲最多，因?yàn)槲铱梢杂懻?獲得正在進(jìn)行的方向的反饋，并與其他從事同一領(lǐng)域的研究人員會(huì)面。)
• 結(jié)束并繼續(xù)前進(jìn)：有時(shí)候，可能會(huì)有一個(gè)項(xiàng)目在開始時(shí)聽起來很有前途，但卻很難付諸實(shí)施，并且在重構(gòu)或形成與其他領(lǐng)域的聯(lián)系方面也具有內(nèi)在的挑戰(zhàn)性。在這種(困難的)情況下，最明智的做法是迅速結(jié)束項(xiàng)目并繼續(xù)前進(jìn)。如果你得到的只是部分結(jié)果，那就很有可能創(chuàng)建一個(gè)最終記錄并分享，所以一個(gè)選擇就是這樣做，得到合作者的確認(rèn)和最終反饋，并將其作為arXiv預(yù)印本或研討會(huì)論文保存下來。

如果這種被困住的感覺源于更廣泛的研究過程，那么我意識(shí)到的一個(gè)重要問題是，研究的成熟度往往很難衡量，尤其是在評(píng)估自己的時(shí)候!在讀博士期間，我開始研究一些醫(yī)療保健應(yīng)用，在學(xué)習(xí)該領(lǐng)域/撰寫論文方面進(jìn)展緩慢。這讓我有一種停滯不前的感覺，并對(duì)研究進(jìn)展的放緩感到有些沮喪。但是當(dāng)我重新閱讀一些我在讀博士時(shí)第一次接觸到的論文時(shí)，我能對(duì)它們的理解的深度和背景與之前截然不同。

研究成熟度的關(guān)鍵方面 —— 理解結(jié)果的更廣泛的背景，能夠在不同領(lǐng)域之間形成聯(lián)系，迅速縮小在你的子領(lǐng)域中的全新的關(guān)鍵貢獻(xiàn) —— 無法立即轉(zhuǎn)化為有形的產(chǎn)出(更多的論文)。但它們對(duì)于成為一個(gè)擁有豐富研究視野的獨(dú)立研究人員至關(guān)重要 —— 這可以說是博士學(xué)位的主要研究目標(biāo)。如果你正在閱讀論文，學(xué)習(xí)該領(lǐng)域的知識(shí)，并自己研究方向，(甚至可能是教學(xué)/指導(dǎo))最有可能你在所有這些重要方面都取得了進(jìn)展!

對(duì)跟上ML的進(jìn)展感到不知所措

機(jī)器學(xué)習(xí)是一個(gè)充滿活力、快節(jié)奏的領(lǐng)域。但另一方面，它會(huì)淹沒在新論文、新預(yù)印本、新博客、新實(shí)現(xiàn)、新框架等的洪流中(有趣的統(tǒng)計(jì)：NeurIPS在過去的一年里有大約10000份提交和大約2k份被接受的論文 —— 難怪我們會(huì)感到不知所措!)

我處理這件事的策略是：

1. 有大量的鏈接可以找到相關(guān)論文的參考文獻(xiàn)。對(duì)我來說，這是一個(gè)arxiv stat.ML cs.LG mailing lists，arXiv-sanity，Twitter，的訂閱，reddit/MachineLearning，paperswithcode以及Semantic Scholar/Google Scholar的訂閱組合。
2. 保存一個(gè)論文列表，如果我遇到了一篇有趣的論文卻沒有時(shí)間去讀(經(jīng)常是這樣)，我會(huì)記下它，然后試著回頭看。
3. 論文閱讀策略，如果一篇論文非常接近我正在積極從事的研究方向，我會(huì)詳細(xì)地閱讀它，否則我會(huì)略讀摘要以獲得一個(gè)高層次的大概印象。
4. 偶爾讀一讀不同的領(lǐng)域，偶爾(也許一年一次)，我會(huì)研究一些我沒有從事的有趣領(lǐng)域，并閱讀幾篇論文以了解該領(lǐng)域正在發(fā)生的事情。

記住以下幾點(diǎn)也是有幫助的：(1)每個(gè)人都都對(duì)論文發(fā)表的速度感到不知所措，(2)許多論文可能依賴于相同的潛在觀點(diǎn)，經(jīng)常熟悉這個(gè)觀點(diǎn)足以跟上這個(gè)領(lǐng)域。

感覺孤獨(dú)

攻讀博士學(xué)位的另一個(gè)常見挑戰(zhàn)是與孤獨(dú)感作斗爭(zhēng)。在我讀博士的頭幾年，一些項(xiàng)目要求我把注意力集中在非常狹窄、具體的問題上，這也是非常費(fèi)力的，而且(感覺)是永無止境的。在那些時(shí)候，我很難不覺得自己與其他研究人員和更廣泛的領(lǐng)域完全隔絕，我非常感謝我的博士導(dǎo)師的支持和指導(dǎo)，讓我度過了這一難關(guān)。

更廣泛地說，這種情況很常見，尤其是在攻讀博士學(xué)位的早期階段，你可能同時(shí)在學(xué)習(xí)如何從頭到尾看待一個(gè)研究項(xiàng)目，同時(shí)與更廣泛的研究領(lǐng)域/社區(qū)的背景和聯(lián)系更少。與該領(lǐng)域/社區(qū)保持聯(lián)系有助于確保你不會(huì)感到孤立。這可以包括：(i)與(高級(jí))學(xué)生/博士后的合作，(ii)獲得對(duì)你的工作進(jìn)步的反饋 —— 這可能來自你的顧問/實(shí)驗(yàn)室，但也可能是來自其他同行/導(dǎo)師，(iii)積極參與更廣泛的社區(qū)，無論是通過簡(jiǎn)單地參加會(huì)議，指導(dǎo)或組織研討會(huì)。

3個(gè)有用的個(gè)人的小技能

在討論了博士階段所面臨的一些共同挑戰(zhàn)以及幫助解決這些挑戰(zhàn)的方法之后，本文的其余部分將概述一些對(duì)研究進(jìn)展有益的考慮因素。

特別是，我將從三個(gè)我認(rèn)為在整個(gè)博士生涯中非常有幫助的個(gè)人技能開始：主動(dòng)性，專注力和毅力。這當(dāng)然是基于我的個(gè)人經(jīng)驗(yàn)!但對(duì)我來說，本科生，博士項(xiàng)目的一個(gè)關(guān)鍵區(qū)別是是否需要采取行動(dòng) —— 這是否意味著閱讀重要的相關(guān)論文，做快速初步的不同方法的可行性的研究，與同行做相關(guān)研究，甚至參加并積極參與會(huì)議。因?yàn)楣プx博士學(xué)位的時(shí)間基本上都是非結(jié)構(gòu)化的，所以是否富有成效很大程度上取決于你學(xué)習(xí)和進(jìn)行研究的主動(dòng)性。

另外兩個(gè)我發(fā)現(xiàn)非常有用的技能是專注和毅力。在開始一個(gè)新的研究方向時(shí)，專注力非常有助于細(xì)讀相關(guān)工作，提煉重點(diǎn)，從初步的探索中快速學(xué)習(xí)，確定主要的項(xiàng)目方向。另一方面，堅(jiān)持不懈對(duì)于完成研究項(xiàng)目是非常有用的,(尤其是)在準(zhǔn)備提交的論文中，經(jīng)常有一長串的編輯/補(bǔ)充，在提交后，進(jìn)一步編輯以回應(yīng)同行評(píng)審和拒稿。要集中精力進(jìn)行所有這些編輯是很難的(尤其是準(zhǔn)備再次提交論文，還有更新、更有趣的項(xiàng)目正在進(jìn)行時(shí))，但同行評(píng)審過程的可變性通常意味著值得堅(jiān)持下去。

在論文和想法上做筆記

在我的PhD期間，有兩個(gè)文檔，一個(gè)是第一年開始的，一個(gè)是第三年開始的，我一直在更新。第一種是記錄我讀過的論文 —— 每當(dāng)我讀到一篇新論文時(shí)，我就把它添加到文檔中，并附上我的簡(jiǎn)短總結(jié)。文件現(xiàn)在已經(jīng)超過50頁了(這可能意味著我應(yīng)該切換到Mendeley或Paperpile)，這是一種非常有用的方式，讓我可以快速地翻回我?guī)啄昵白x過的文件并獲取要點(diǎn)。另一份文件記錄研究思路。每次我有了有希望的新想法，我就把它記下來。隨著時(shí)間的推移，這有助于我的研究方向和突出關(guān)鍵主題。

社區(qū)的重要性

我花了很長時(shí)間才意識(shí)到(機(jī)器學(xué)習(xí))研究的一個(gè)重要特性，那就是研究從根本上來說是一項(xiàng)社區(qū)努力。我們要解決的問題是非常困難的，而進(jìn)步依賴于你借鑒別人的想法，別人借鑒你的想法的循環(huán)。在探索研究方向時(shí)，這是一個(gè)需要牢記的關(guān)鍵因素。社區(qū)對(duì)什么感到興奮，為什么?有缺點(diǎn)或差距嗎?接下來的研究是否有自然的步驟?

花時(shí)間與社區(qū)中的同行討論這些問題和其他問題，對(duì)于開發(fā)見多識(shí)廣、相關(guān)性強(qiáng)的研究問題是至關(guān)重要的。如果你發(fā)現(xiàn)了一個(gè)令人興奮的、對(duì)該領(lǐng)域感興趣的新研究方向，圍繞這個(gè)方向建立一個(gè)社區(qū)通常是有用的 —— 這可以通過發(fā)起合作、傳播關(guān)鍵的開放問題和組織研討會(huì)來實(shí)現(xiàn)。

早在我讀博士的時(shí)候，我就對(duì)理解現(xiàn)代深度學(xué)習(xí)系統(tǒng)展示的關(guān)鍵經(jīng)驗(yàn)現(xiàn)象很感興趣。但當(dāng)時(shí)研究這個(gè)課題非常具有挑戰(zhàn)性。該領(lǐng)域發(fā)展迅速，使任何類型的分析的焦點(diǎn)都成為一個(gè)移動(dòng)的目標(biāo)，并顯著增加了圍繞這個(gè)主題構(gòu)建新社區(qū)的挑戰(zhàn)。所以，發(fā)表我的第一篇深度學(xué)習(xí)分析論文相當(dāng)困難，這絕對(duì)是一種堅(jiān)持不懈的行為!但從那時(shí)起，見證這一令人興奮的研究領(lǐng)域的發(fā)展并為其做出貢獻(xiàn)是一件非常美妙的事情!

發(fā)展研究視野

雖然我前面所描述的，當(dāng)開始讀博士時(shí)，最好是把事情一步一個(gè)腳印的推進(jìn)，注重體驗(yàn)，而不是一個(gè)具體的目標(biāo),從研究成熟的角度來看，博士要有一個(gè)明確的目標(biāo)：讓你的獨(dú)立研究者，有豐富的研究的視野。

在目前的機(jī)器學(xué)習(xí)研究中，隨著論文的泛濫，人們很容易對(duì)持續(xù)大量發(fā)論文需求感到壓力。但是，雖然論文寫作是一項(xiàng)重要的技能，我認(rèn)為研究成熟度的關(guān)鍵測(cè)試是能夠在你的領(lǐng)域有知識(shí)淵博的視角，這有助于識(shí)別關(guān)鍵的研究問題，并與總體主題 —— 研究愿景聯(lián)系起來。

擁有一個(gè)完善的研究視野是非常有動(dòng)力的。打個(gè)比方，這有點(diǎn)像完成一個(gè)“數(shù)碼繪畫”工具包：你不再只是看到每個(gè)正方形像素的顏色，而是突然去欣賞整個(gè)畫面。

那么，如何發(fā)展研究視野呢?

首先，從我的博士生涯來看，我認(rèn)為如果沒有幾年的研究經(jīng)驗(yàn)，就很難形成一個(gè)成熟的研究愿景。我記得在我讀博士的頭幾年，我讀過一些論文，看過一些資深研究人員的演講，我很沮喪，因?yàn)槲規(guī)缀醪荒茏R(shí)別/闡明有趣的研究問題。在那之后的幾年里，我讀過的所有論文、做過的項(xiàng)目、參加過的研討會(huì)的綜合效應(yīng)，極大地提高了我在這方面的能力。(當(dāng)然還有改進(jìn)的空間!展望未來，隨著我獲得更多的背景和對(duì)更大的子領(lǐng)域的理解，這種能力將繼續(xù)發(fā)展。)

更具體地說一下形成(更完善的)研究視野的階段：它始于探索，我最初的幾個(gè)項(xiàng)目讓我接觸到各種各樣的東西，幫助我理解我發(fā)現(xiàn)的本質(zhì)上有趣的東西。從那以后，自然就有了后續(xù)的項(xiàng)目要研究，最終也引出了一些應(yīng)用/部署方面的相關(guān)問題。所有這些都開始匯聚在機(jī)器學(xué)習(xí)設(shè)計(jì)和部署中的人工智能交互這一廣泛主題下，而且，正如研究愿景擅長做的那樣，也激發(fā)了新的問題。(我非常感謝我的博士導(dǎo)師，在這一切中給予我的深刻見解、指導(dǎo)和鼓勵(lì)!)

最后一點(diǎn)，我想強(qiáng)調(diào)的是，多年的經(jīng)驗(yàn)確實(shí)具有復(fù)合效應(yīng)。當(dāng)你在研究的項(xiàng)目上工作時(shí)，就更容易識(shí)別出研究論文的突出思想，這為你的下一個(gè)項(xiàng)目給出個(gè)人觀點(diǎn)和前途相關(guān)的思考，并使得這些未來的項(xiàng)目更容易被吸收，然后再回過來幫助確定新的有趣的研究方向，并最終合并形成更廣泛的視野。

總結(jié)

總之，讀博是很有成就感的。然而，這是一段旅程，有起有落，有個(gè)人發(fā)現(xiàn)，有(研究)視角的演變。我非常感謝我博士期間的豐富經(jīng)歷，希望這篇文章能對(duì)其他人有所幫助!