谷歌大腦高級研究科學家：在康奈爾讀博6年，我收獲了什么
近日，谷歌大腦高級研究科學家 Maithra Raghu 發布了自己的博士生涯總結，包括期望值管理、讀博的常見挑戰，以及論文那些事兒，等等。
讀博期望值管理
在這里，我將讀博稱為一段「旅程」，這是一個經常被低估的方面。讀完機器學習博士學位大概需要 5 到 6 年的時間。在此期間，你不僅要學習關于該領域的研究技能和知識，而且還將培養自己對特定問題的個人偏好、對不同子領域的認知，甚至對跨學術界、業界、政策、非盈利組織等的工作類型有自己的見解。
這些不斷變化的個人偏好，將影響你決定從事的研究類型，甚至影響你所選擇的博士后職業道路。但在博士生涯的初始階段，我們往往很難預測個人偏好會如何演變。就我而言，我是完全假設自己會投身業界，過程中我也認真思考了搞學術這件事，不過最后我做出了一個非常艱難的決定：放棄學界的 Offer，繼續留在業界。
所以，在開始博士學位課程后，循序漸進地進行學習，并充分利用已有經驗通常會很有幫助，但不必設定非常具體的預期結果（正所謂計劃趕不上變化，且這會增加不必要的壓力）。
讀博旅程中的常見挑戰
攻讀博士學位可能會帶來巨大的收獲，特別是在機器學習領域，它提供了理解基礎科學和技術部署的機會。我很感激自己在博士生涯中有很多機會來體驗這兩個方面。
但博士學位的攻讀時長和自由的特性，也是一種挑戰。我的博士生涯起起伏伏，有些時候我感到孤獨，陷入困境以致于不知所措。現在再回想過去，加上與同行討論之后，我理解了這些低谷是很常見的。不過，根據很多人分享過的經驗，我知道也有一些策略可以幫助解決問題。
陷入困境
一個非常常見的挑戰是：卡住，有時候是卡在某個特定項目中，有時候整個研究都卡住了。
如果是某個項目卡住了，而且你一直努力推進卻未奏效，那么你可以參考以下策略：
- 整理成文字形式：收集部分實驗結果、數學見解，總結出有條理的筆記，花時間梳理這篇內容會讓你理解事情到了哪一步，重要差距出現在哪里。
- 核心點：如果項目的某個特定部分無法正常工作，可以考慮是否需要重構該問題，使其更容易處理。
- 建立聯系：當前項目關注的領域和其他研究領域是否存在聯系？在該項目中能否探索這種聯系？這既有利于進步，也可以使項目與更廣泛的社區建立聯系。
- 獲取反饋：從研究社區的同行、合作者和朋友那里獲得反饋也可能有所幫助，你還能收獲一些新觀點和改進建議。
- 提交 Workshop：參與一些 Workshop 也能收集到一些有用的反饋。
- 完結，然后繼續：有時候一個項目在起初看起來很有希望，但很難推進，并且重構、與其他領域建立聯系也具備挑戰性。在這種情況下，快速結束項目是是非常有必要的。如果獲得了一部分結果，那你有必要生成最終文章并共享出來，從合作者那里獲得確認和最終反饋，并將其保存為 arXiv 預印本或 workshop 論文。
如果這種卡住的感覺來源于研究過程，我意識到的很重要的一點是，研究的完備程度通常很難衡量，尤其是在評估自己的時候。在讀博士的過程中，我一開始做了一些醫療應用方面的研究，但學習這一領域知識、撰寫論文的速度較慢。緩慢的進展讓我感到沮喪，但在努力一段時間之后，我重新閱讀了一些我在博士早期看過的論文，感覺大有不同，現在我可以更深刻地理解它們了。
研究成熟度的關鍵方面——了解結果的更廣泛意義，與不同領域構建聯系，迅速縮小與子領域新關鍵貢獻的距離——你不需要迅速將其轉化為有形的產出（更多論文）。但它們對于成為具有豐富研究視野的獨立研究人員至關重要，可以說是博士的主要研究目標。而且如果你通過閱讀論文了解一個領域，自行工作開始某個方向的探索（甚至開始教課），就意味著你在這些重要方面都有了進步！
跟上機器學習的進度
機器學習是一個日新月異的熱門研究領域，與之相對的是很多東西都會淹沒在海量論文、預印版論文、博客文章、應用、框架等之下。一個有趣的統計結果是：去年的 NeurIPS 會議有超過 1 萬篇論文投稿，最終有 2000 多篇論文被收錄——看不完吧，感到不知所措了吧！
對此我的策略是：
- 準備一個相關論文的鏈接列表。對我來說，這需要結合 arXiv 的機器學習子目錄、arXiv-sanity、推特、reddit 的 MachineLearning 板塊（有時）、paperwithcode、Semantic Scholar 和 Google Scholar。
- 記錄并更新論文閱讀列表。如果看到了有趣的論文但沒時間讀，先記錄下來之后再來看。
- 尋找一種閱讀論文的節奏。如果論文和自己的研究方向強相關就仔細看，否則就快速看摘要和論文中的重要圖片。
- 偶爾閱讀不同領域的研究。有些時候（也許一年一次），我會嘗試看一些不是自己研究領域里的論文，以便對前沿研究進展有大致了解。
這里請記住：每個人對于論文的發表速度都感到有壓力，同時很多論文可能源自相同的思路，經常了解一下業界進展就足以跟上主流了。
孤獨無助
博士期間的另一個挑戰在于和孤獨感作斗爭。在讀博的頭幾年，一些項目要求我把目光放在非常狹窄特定的問題上，這些問題也非常費時費力，永無止境。在這段時間里，你很難不感受到自己被其他研究者和更大的研究圈子拋棄，我非常感謝在此期間幫助我渡過難關的人們。
從更廣泛的意義來講，這種情況很常見，特別是在博士早期：你可能在學習如何將一個項目從頭到尾過一遍，而與此同時與研究領域和社區本身的聯系并不多。保持與研究領域和社區的聯系對于減少孤獨感非常有好處。有時你可以：1）與高年級學生或博士后建立合作；2）從導師、實驗室負責人、研究合作者那里獲取有關自己工作進展的反饋；3）積極參與更廣泛的社區，無論是簡單地參會，還是組織和指導 workshop。
你需要具備的三大能力
在討論了攻讀博士學位期間會遇到的一些共同挑戰及解決方法之后，本文的其余部分將概述有利于研究推進的一些有用能力。
首先我們要對于讀博最有用的三項能力說起：主動、專注和毅力。當然這是根據我的個人經驗得出的結論，每個人對于有用品質可能會有不同看法。但對我而言，自本科畢業開始到進入博士培養計劃最主要的區別就在于要主動——這包括但不限于閱讀重要的相關論文、對不同方法的可行性進行快速的初步研究、與進行相關研究的同行不斷交流、參加學術會議并成為大會的積極參與者。
由于博士生活大部分是由非結構化的時間構成的，因此提高生產力很大程度上取決于你學習和做研究的主動性。
另外非常有用的品質是專注和毅力。在開始新的研究方向時，仔細閱讀相關工作，提取關鍵點，快速從初始探索中學習并確定主要項目方向是很重要的。另一方面，堅持對于把一項研究順利做完非常有用：你總是需要做大量編輯、添加工作才能讓論文最終呈現可提交的狀態，而在提交之后，你還要回應同行評審的觀點，做進一步的編輯工作，甚至面對拒稿。有時你很難打起精神應付這些工作，特別是你一邊為重新提交論文做準備，另一邊還要研究新課題時。但同行評審過程帶來的機會通常意味著堅持是值得的。
關注論文和新思想
在博士的第一年和第三年，我分別開了兩份文檔，并一直在更新：第一個記錄我閱讀過的論文，每當我看完一篇新論文，就會在文檔中添加一筆，附帶自己的簡短總結。這個文檔現在已經有 50 頁了（我可能得轉投 Mendeley 或 Paperpile 了），在我需要快速尋找論文研究和要點時它非常有用。
另一個文檔持續關注研究方向，每當我找到一個有趣的想法就會在其中記錄下來。隨著時間流逝，這份努力在我選擇研究方向和突出主題時提供了不少幫助。
社區的重要性
我花了挺長時間才意識到機器學習研究的一個重要特點：從根本上說機器學習研究是社區行為。我們需要解決的問題非常困難，進展取決于所有同行接受新觀點的速度。這是你探索研究方向時要牢記的關鍵因素。讓社區感到興奮的是什么，為什么？有缺點或空白嗎？有明顯的下一步嗎？花時間與社區中的同僚討論這些問題，對于尋找恰當的研究方向至關重要。
而且如果你對一個新研究方向感到興奮，圍繞它來建立討論社區是很有意義的——這可以通過發起協作、散布關鍵的開放性問題并組織研討會來實現。從博士生涯早期開始，我就對了解現代深度學習系統所展示出的重要實驗現象非常感興趣。但這一領域很有挑戰性，它的發展很快，任何分析的重點都在不斷變化，這就使得圍繞它建立社區變得困難起來。因此我在發表第一篇深度學習分析論文時經歷了很大挑戰，但這也絕對是一種堅持的體現。自此以來，能夠見證并為這個令人興奮的研究領域的發展做出貢獻真是太好了！
發展研究的視角
前面提到過，當開始博士生涯時最好走一步看一步，專注于積累經驗，而非追尋特定的目標，但從研究成熟度的角度來說，PhD 是有特定的任務的：成為一名獨立的研究者，擁有豐富且清晰的研究視野。
在最近的機器學習研究中，隨著大量論文的出現，人們自然想到需要發更多文章。但盡管論文寫作是一項重要技能，但我認為研究成熟度的關鍵標準是能夠對自己的領域有深度觀點，這些觀點有助于通過與主題相關的總體觀點（研究視野）來決定關鍵的研究問題。
擁有完善的研究視野會極大地激發人們的積極性。打個比方，這就有點像完成一個「按照數字填色」的任務：你不僅在給每個空格填上顏色，在圖畫完成時還會突然看到整張圖片的效果。
所以問題來了，如何建立起研究視野呢？
首先從我的 PhD 經歷來看，要想在沒有幾年研究經驗的情況下建立起完整的研究視野是很難的。在博士的頭幾年里，我記得自己一直在閱讀論文，觀看資深研究者的演講，并為無法識別、闡述有趣的研究問題而感到苦惱。在隨后的幾年里，所有我讀過的論文、參與的項目和研討會都對自己的能力提升有很大幫助。當然還是有改進的空間！「向前看」這種能力會隨著閱歷和對自身方向的深入理解不斷發展。
現在，我們來更具體地說明如何更好地發展研究視野：它始于探索，我初期參與的一些項目給我提供了一些不同的機會，讓我開始理解自己真正感興趣的主題。從這個基礎開始，自然就會有一些相關的研究需要跟進，最終把你引向相關的應用、部署問題。所有這些都是在機器學習設計和人機交互這一大主題的基礎上開始的，而且隨著研究視野的拓展，已有的工作激發出了新的問題。在這里，我要非常感謝導師的見解、指導和鼓勵！
最后需要強調的是，多年的經驗確實產生了質變的效應。當我在從事研究項目時，分辨論文中的重要觀點已變得更加輕松，這讓你可以更好地提出自己的看法、下一個問題和對未來的展望，在新的項目中可以更快地吸收知識、提出看法，隨后回歸本源——幫助自己找到有趣的研究方向，并形成更廣闊的的視野。
總結
總而言之，讀 PhD 是一件很有意義的事。不過它就像是一段旅程，有起有落，伴隨著新的發現和人生觀的改變。我對自己在讀博生涯中獲得的豐富經驗時常心存感恩，希望這篇文章能夠對身在旅途中的你產生幫助。
