KDnuggets 向 11 位來自學(xué)界和業(yè)界不同領(lǐng)域的機器學(xué)習(xí)和 AI 專家咨詢，以期總結(jié)出今年的業(yè)內(nèi)進展并預(yù)測明年的關(guān)鍵趨勢。

KDnuggets 分別獲得了來自 Anima Anandkumar、Andriy Burkov、Pedro Domingos、Ajit Jaokar、Nikita Johnson、Zachary Chase Lipton、Matthew Mayo、Brandon Rohrer、Elena Sharova、Rachel Thomas 和 Daniel Tunkelang 的回答。

這些專家挑選出的關(guān)鍵詞包括深度學(xué)習(xí)的進步、遷移學(xué)習(xí)、機器學(xué)習(xí)的局限性、自然語言處理不斷變化的現(xiàn)狀等等。

1. Anima Anandkumar：英偉達的 ML 研究主任和加州理工學(xué)院的 Bren 講座教授。

(1) 2018 年機器學(xué)習(xí)和人工智能的主要進展是什么?

「深度學(xué)習(xí)容易獲得的果實幾乎已經(jīng)摘盡」(Low hanging fruits of deep learning have been mostly plucked)。

深度學(xué)習(xí)的焦點開始從標準的監(jiān)督學(xué)習(xí)轉(zhuǎn)向更具挑戰(zhàn)性的機器學(xué)習(xí)問題，如半監(jiān)督學(xué)習(xí)、域適應(yīng)、主動學(xué)習(xí)和生成模型。GAN 繼續(xù)受到研究人員的歡迎，他們正在嘗試更加艱巨的任務(wù)，如照片級圖像生成(BigGAN)和視頻到視頻合成。人們開發(fā)了替代的生成模型(例如，神經(jīng)渲染模型)以在單個網(wǎng)絡(luò)中組合生成和預(yù)測以幫助半監(jiān)督學(xué)習(xí)。研究人員將深度學(xué)習(xí)的應(yīng)用擴展到許多科學(xué)領(lǐng)域，如地震預(yù)測、材料科學(xué)、蛋白質(zhì)工程、高能物理和控制系統(tǒng)。在這些情況下，領(lǐng)域知識和約束與學(xué)習(xí)相結(jié)合。例如，為了改善無人機的自主著陸，我們可以學(xué)習(xí)地面效應(yīng)模型以校正基礎(chǔ)控制器并保證學(xué)習(xí)穩(wěn)定，這在控制系統(tǒng)中很重要。

(2) 預(yù)測：

「人工智能將把模擬和現(xiàn)實聯(lián)系起來，變得更安全，更具物理真實性。」

我們將看到人們開發(fā)新的域適應(yīng)技術(shù)，以便將知識從模擬無縫遷移到現(xiàn)實世界。使用模擬將有助于我們克服數(shù)據(jù)稀缺性并加快新領(lǐng)域和新問題的學(xué)習(xí)。使 AI 從模擬到實際數(shù)據(jù)(Sim2real)將對機器人技術(shù)、自動駕駛、醫(yī)學(xué)成像、地震預(yù)報等產(chǎn)生重大影響。模擬是解決自動駕駛等安全關(guān)鍵應(yīng)用中所有可能情況的好方法。內(nèi)置于復(fù)雜模擬器中的知識將以新穎的方式使用，使 AI 更具物理意識、更強大，并能夠推廣到新的場景。

2. Andriy Burkov：Gartner 機器學(xué)習(xí)團隊的負責人。

這是我作為一名從業(yè)者的看法，而不是 Gartner 基于研究的官方聲明。

(1) 2018 年機器學(xué)習(xí)和人工智能的主要發(fā)展是什么?

TensorFlow 在學(xué)術(shù)界輸給了 PyTorch。有時谷歌的巨大影響力和能力可能會使市場偏向次優(yōu)的方向，因為 MapReduce 和隨后的 hadoop 狂熱已經(jīng)導(dǎo)致了這種情況。

Deepfakes(以及相似的語音轉(zhuǎn)換模型)粉碎了最值得信賴的信息來源：視頻片段。幾十年前我們不再相信印刷文字，但直到最近，視頻的可信度還是不可動搖。

強化學(xué)習(xí)以深度學(xué)習(xí)的形式回歸是非常意外和酷的!

Google 致電餐廳并(成功)假裝為真正人類的系統(tǒng)是一個里程碑。然而，它引發(fā)了許多關(guān)于道德和人工智能的問題。

個人助理和聊天機器人很快就達到了極限。他們比以往任何時候都好用，但又不如去年每個人所希望的那么好。

(2) 你認為 2019 年的主要趨勢是什么?

• 我估計每個人都會對今年的 AutoML 進展感到興奮。但我也預(yù)計它會失敗(除了一些非常具體和明確定義的用例，如圖像識別、機器翻譯和文本分類，其中手工制作的特征不是必要或是標準的，原始數(shù)據(jù)接近于機器期望作為輸入，并且數(shù)據(jù)是豐富的)。
• 營銷自動化：利用成熟的生成對抗網(wǎng)絡(luò)和變分自編碼器，可以生成數(shù)千張相同人物或圖像的圖片，這些圖像之間的面部表情或情緒差異很小。根據(jù)消費者對這些圖片的反應(yīng)，我們可以制作出***的廣告活動。
• 移動設(shè)備上的實時語音生成與真實人類無法區(qū)分。
• 自動駕駛的出租車將保持在測試/ PoC 階段。

3. Pedro Domingos ：華盛頓大學(xué)計算機科學(xué)與工程系的教授。

經(jīng)過多年的炒作，2018 年變成了對人工智能過度恐懼的一年。聽媒體甚至是一些研究人員的言論，你可能會認為機器學(xué)習(xí)算法是偏見和歧視的垃圾桶，機器人正在接手我們的工作，然后是我們的生活... 不僅僅是談話：歐洲和加利福尼亞州已經(jīng)通過了嚴厲的隱私法，聯(lián)合國正在就智能武器禁令等進行辯論。公眾對人工智能的看法越來越消極，這既危險又不公平。希望 2019 年將看到理智回歸。

4. Ajit Jaokar：牛津大學(xué)物聯(lián)網(wǎng)數(shù)據(jù)科學(xué)的***數(shù)據(jù)科學(xué)家和創(chuàng)始人

2018 年，一些趨勢開始起飛。AutoML 是一個，強化學(xué)習(xí)是一個。這兩個新生趨勢將在 2019 年大幅擴展。作為我在牛津大學(xué)教學(xué)的一部分，我認為物聯(lián)網(wǎng)越來越多地交織在自動駕駛汽車、機器人和智能城市等大型生態(tài)系統(tǒng)中。通過與 Dobot 的合作，我見證了一種新的機器人技術(shù)，即協(xié)作機器人(cobots)，這是 2019 年的一個關(guān)鍵趨勢。與以前的裝配線機器人不同，新的機器人將能夠自主并理解情緒。***，有一個有爭議的觀點：在 2019 年，我們所知道的數(shù)據(jù)科學(xué)家的角色將傾向于從研究轉(zhuǎn)向產(chǎn)品開發(fā)。我認為人工智能與下一代數(shù)據(jù)產(chǎn)品的創(chuàng)建密切相關(guān)。數(shù)據(jù)科學(xué)家的角色將相應(yīng)改變。

5. Nikita Johnson：RE.WORK 的創(chuàng)始人。

我們在 2018 年目睹的一個發(fā)展是開源工具數(shù)量的增加，這些工具降低了進入門檻，使所有人都能更容易地應(yīng)用 AI，以加強組織之間的協(xié)作。這些社區(qū)對于確保人工智能在社會和企業(yè)各個領(lǐng)域的傳播至關(guān)重要。

同樣，在 2019 年，我們將看到關(guān)注「人工智能」的公司數(shù)量有所增加，這是基于谷歌最近宣布的 AI for Social Good 計劃，以及微軟的 AI for Good 計劃。隨著社會要求公司擁有更高的社會目標，這種向人工智能的積極轉(zhuǎn)變正獲得推動力。

6. Zachary Chase Lipton：卡內(nèi)基梅隆大學(xué)機器學(xué)習(xí)助理教授，Approximately Correct Blog 創(chuàng)始人

讓我們從深度學(xué)習(xí)領(lǐng)域開始，這個領(lǐng)域占據(jù)機器學(xué)習(xí)和人工智能的公共話題的***份額。也許會惹惱一些人，但我認為對 2018 年的一個合理解讀是：***的發(fā)展是沒有發(fā)展!當然這太簡單了，但請允許我展開這個問題。***的發(fā)展很大一部分是「調(diào)參」與定性新思想的本質(zhì)區(qū)別。BigGAN 是一個 GAN，但更大。GAN 的逐漸發(fā)展產(chǎn)生了真正有趣的結(jié)果，在某些意義上邁出了一大步，但從方法論上來說，它只是一個帶有課程學(xué)習(xí)技巧的 GAN。在 NLP 方面，今年最重要的進展是 ELMO 和 BERT 的語境化嵌入。但是至少從 2015-16 開始，我們已經(jīng)預(yù)先訓(xùn)練了語言模型并對下游分類任務(wù)進行了微調(diào)，當時 Andrew Dai 和 Quoc Le 的實驗規(guī)模較小。所以也許更憤世嫉俗的說法是，這不是由全新思想主宰的一年。另一方面，積極的說法可能是現(xiàn)有技術(shù)的全部功能尚未實現(xiàn)，硬件、系統(tǒng)和工具的快速發(fā)展可能會從這里發(fā)揮作用，來擠出這些流行了三四年的思想的所有成果。

我認為現(xiàn)在正在醞釀的很多新想法都出現(xiàn)在新興的深度學(xué)習(xí)理論中。有很多研究人員，包括 Sanjeev Arora、Tengyu Ma、Daniel Soudry、Nati Srebro 等等，他們正在做一些非常令人興奮的工作。我們早就已經(jīng)有了***性原理理論，這些理論是嚴謹?shù)模?jīng)常忽略了實踐，然后是「實驗性」ML，它真正在實踐科學(xué)，但卻導(dǎo)致了排行榜追逐現(xiàn)象。現(xiàn)在出現(xiàn)了一種新的探究模式，理論與實驗的結(jié)合更緊密。你開始看到受實驗啟發(fā)的理論論文，進行實驗的理論論文。

2019 年及以后。我認為應(yīng)用機器學(xué)習(xí)領(lǐng)域會有一個清算。我們正急于進入所有這些聲稱「解決」問題的實際領(lǐng)域，但到目前為止，我們工具箱中唯一可靠的錘子只有監(jiān)督學(xué)習(xí)，而且我們只能通過模式匹配來做些約束。受監(jiān)督的模型可以找到關(guān)聯(lián)，但它們不提供正當理由。它們不知道哪些信息是安全的，或脆弱的(因為它可能會隨著時間的推移而發(fā)生變化)。這些模型沒有告訴我們干預(yù)措施的效果。當我們在人類交互系統(tǒng)中部署基于監(jiān)督學(xué)習(xí)的自動化系統(tǒng)時，我們并沒有預(yù)料到它們會扭曲激勵因素，從而改變它們的環(huán)境，打破它們所依賴的模式。我認為在接下來的一年里，我們會看到更多 ML 項目的案例被廢棄，或者因為這些限制而陷入困境。我們會看到社區(qū)中更有創(chuàng)意成員的轉(zhuǎn)變，從關(guān)注函數(shù)擬合排行榜，到更多地關(guān)注與彌合表征學(xué)習(xí)和因果推理之間差距相關(guān)的問題。

7. Matthew Mayo：KDnuggets 的編輯

對我而言，2018 年的機器學(xué)習(xí)發(fā)展很好。例如，遷移學(xué)習(xí)有更廣泛的應(yīng)用，特別是在自然語言處理方面，這要歸功于通用語言模型微調(diào)文本分類(ULMFiT)等技術(shù)和 Transformers 的雙向編碼器表征(BERT)。另外需要注意的是語言模型嵌入(ELMo)，這是一個深層語境化的單詞表征模型，它對模型的每個任務(wù)都進行了相當大的改進。今年的其它突破似乎集中在現(xiàn)有技術(shù)的改進上，例如 BigGAN。此外，關(guān)于機器學(xué)習(xí)的包容性和多樣性的非技術(shù)性討論也成為主流。

我相信，在 2019 年，研究注意力將從監(jiān)督學(xué)習(xí)轉(zhuǎn)向強化學(xué)習(xí)和半監(jiān)督學(xué)習(xí)等領(lǐng)域，因為這些領(lǐng)域的潛在應(yīng)用越來越多地得到實現(xiàn)。例如，我們現(xiàn)在正處于圖像識別和生成問題已經(jīng)「解決」的階段，并且沿途學(xué)到的東西可以幫助研究人員追求更復(fù)雜的機器學(xué)習(xí)應(yīng)用。

作為業(yè)余的 AutoML(自動化機器學(xué)習(xí))傳播者，我認為我們將繼續(xù)看到 AutoML 的逐步進步，以至于普通的監(jiān)督學(xué)習(xí)任務(wù)將能夠通過開發(fā)中的可行方法有效地進行算法選擇和超參數(shù)優(yōu)化。我認為人們對 AutoML 的普遍看法將轉(zhuǎn)變。AutoML 將不再被視為機器學(xué)習(xí)工具箱的替代品，而是作為其中的另一種工具。我認為，在日常情景中，從業(yè)者將經(jīng)常使用這些工具，這將成為定局。

8. Brandon Rohrer：Facebook 的數(shù)據(jù)科學(xué)家

2018 年的一個重要趨勢是數(shù)據(jù)科學(xué)教育機會的擴散和成熟。在線課程是原始的數(shù)據(jù)科學(xué)教育場所。它們在各個層面繼續(xù)受到歡迎，每年學(xué)生和主題都在增加，以及有更多教育形式的變體。

在學(xué)術(shù)界，新的數(shù)據(jù)科學(xué)碩士課程正以每年約十幾個的速度增長。我們的高等院校正在響應(yīng)公司和學(xué)生的請求，為數(shù)據(jù)相關(guān)領(lǐng)域提供專門的計劃。

在非正式的層面，教程和博客文章無處不在。它們?yōu)樽x者和作者對數(shù)據(jù)科學(xué)的集體理解做出了巨大貢獻。

在 2019 年及以后，數(shù)據(jù)科學(xué)學(xué)術(shù)計劃將成為學(xué)習(xí)數(shù)據(jù)科學(xué)職位所需基本技能的更常見方式。這是件好事。受認證的機構(gòu)將填補長期的空白。到目前為止，數(shù)據(jù)科學(xué)資格主要通過以前的工作經(jīng)驗來證明。新數(shù)據(jù)科學(xué)家無法展示自己的資歷，因為他們從未從事過數(shù)據(jù)科學(xué)工作;反過來，因為他們無法獲得數(shù)據(jù)科學(xué)工作，他們也無法展示自己的資格。教育機構(gòu)的證書是打破這一循環(huán)的一種方式。

但是，在線課程不是哪里都有。有許多人無法接受大學(xué)教育的時間和經(jīng)濟要求。通過對項目工作、相關(guān)經(jīng)驗和在線培訓(xùn)的展示，即使沒有學(xué)位，新數(shù)據(jù)科學(xué)家也能夠展示他們的技能。在線課程和教程將繼續(xù)變得更加普遍、更復(fù)雜、對數(shù)據(jù)科學(xué)教育更為重要。事實上，一些著名的數(shù)據(jù)科學(xué)和機器學(xué)習(xí)計劃甚至將他們的課程放在網(wǎng)上，甚至為非預(yù)科學(xué)生提供入學(xué)選擇。我預(yù)計數(shù)據(jù)科學(xué)大學(xué)學(xué)位與在線培訓(xùn)課程之間的界限將繼續(xù)變得模糊。在我看來，這是「數(shù)據(jù)科學(xué)民主化」的最真實形式。

9. Elena Sharova：ITV 的高級數(shù)據(jù)科學(xué)家

(1) 2018 年機器學(xué)習(xí)和人工智能的主要發(fā)展是什么?

在我看來，2018 年 AI 和 ML 社區(qū)發(fā)生了以下三個值得注意的事件。

• 首先，旨在提高公平性和個人數(shù)據(jù)使用透明度的歐盟全球數(shù)據(jù)保護條例(GDPR)的啟用。該規(guī)定明確了個人控制其個人數(shù)據(jù)和獲取其使用信息的權(quán)利，但也引起了對法律解釋的一些混淆。迄今為止的最終結(jié)果是，許多公司認為自己是合規(guī)的，對數(shù)據(jù)處理做了一些表面上的改變，忽略了重新設(shè)計數(shù)據(jù)存儲和處理基礎(chǔ)設(shè)施的基本需求。
• 其次，還有劍橋 Analytica 丑聞，它給整個數(shù)據(jù)科學(xué)社區(qū)蒙上陰影。如果之前的辯論主要是關(guān)于確保 AI 和 ML 產(chǎn)品的公平性，那么這個丑聞則會引發(fā)更深層次的倫理問題。對 Facebook 參與的***調(diào)查意味著它不會很快消失。隨著數(shù)據(jù)科學(xué)領(lǐng)域的成熟，這些發(fā)展將在許多行業(yè)中發(fā)生。比如亞利桑那州的 Uber 自駕車案，這種事件之后會有強烈的公眾反應(yīng)。技術(shù)就是力量，力量就是責任。正如諾姆喬姆斯基所說：「只有在民間故事、童話故事中，權(quán)力才被用來摧毀邪惡。但現(xiàn)實世界教給我們的是截然不同的教訓(xùn)。除非故意或者太無知，否則我們無法忽視這些教訓(xùn)。」
• ***，從一個更積極的角度來看，亞馬遜自己的服務(wù)器處理器芯片的***發(fā)展意味著，我們可能會越來越接近云計算的普及，到那時，云計算的成本不再是問題。

(2) 你預(yù)計 2019 年的主要趨勢會是什么?

數(shù)據(jù)科學(xué)家的角色和責任已不再限于建立實現(xiàn)準確預(yù)測的模型。2019 年，ML、AI 和 DS 從業(yè)者的主要趨勢將是越來越多地關(guān)注既定的軟件開發(fā)實踐，特別是測試和維護。數(shù)據(jù)科學(xué)的終端產(chǎn)品將必須與公司其它技術(shù)堆棧共存。高效運行和維護專有軟件的要求將適用于我們構(gòu)建的模型和解決方案。這意味著，***的軟件開發(fā)實踐將鞏固我們需要遵循的機器學(xué)習(xí)規(guī)則。

10. Rachel Thomas：fast.ai 聯(lián)合創(chuàng)始人，舊金山大學(xué)助理教授。

2018 年人工智能的兩個主要發(fā)展是：

• 遷移學(xué)習(xí)在 NLP 的成功應(yīng)用
• 越來越多的人開始關(guān)注人工智能的反烏托邦濫用(包括仇恨團體和獨裁者的監(jiān)控和操縱)

遷移學(xué)習(xí)是指將預(yù)訓(xùn)練的模型應(yīng)用到新的數(shù)據(jù)集。遷移學(xué)習(xí)是計算機視覺迅猛發(fā)展的一個關(guān)鍵因素。2018 年，遷移學(xué)習(xí)在 NLP 中的成功應(yīng)用包括：fast.ai 的 ULMFiT、艾倫研究所的 ELMo、OpenAI transformer 和谷歌的 BERT。

有些一直存在的問題在 2018 年也終于開始受到主流媒體的關(guān)注，如 Facebook 在「Genocide in Myanmar」事件中的決定性作用，YouTube 不當?shù)赝扑]陰謀論(其中許多宣揚白人至上)，以及政府和執(zhí)法機構(gòu)使用人工智能進行監(jiān)控等。雖然 AI 的這些濫用很嚴重也很可怕，但越來越多的人開始意識到這個問題并進行抵制。

我估計隨著 NLP 的快速進步(正如 Sebastian Ruder 今年夏天說的，NLP 的 ImageNet 時刻已經(jīng)到來)，以及技術(shù)方面的反烏托邦發(fā)展，這個趨勢將在 2019 年繼續(xù)。

11. Daniel Tunkelang：專門從事搜索、發(fā)現(xiàn)和 ML/AI 的獨立顧問。

2018 年，自然語言處理和理解的詞嵌入方面有兩大進展。

• 首先是 3 月份，來自艾倫人工智能研究所和華盛頓大學(xué)的研究人員發(fā)表論文《Deep contextualized word representations》，引入了 ELMo (Embeddings from Language Models)，一個開源的深度語境化詞表征，該表征改進了 word2vec 或 GloVe 這樣的無語境嵌入。作者證明，通過簡單地用來自 ELMo 預(yù)訓(xùn)練模型的向量進行替換就可以在現(xiàn)有 NLP 系統(tǒng)上實現(xiàn)改進。
• 其次是 11 月的時候，谷歌開源了 BERT (Bidirectional Encoder Representations from Transformers)。它是一個在 Wikipedia 上預(yù)訓(xùn)練得到的雙向無監(jiān)督語言表征。作者在論文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》中證明，他們在多種不同的 NLP 基準上實現(xiàn)了很大的改進，甚至是與 ELMo 相關(guān)的基準。

從智能語音助手的快速普及(2018 年底達到 1 億用戶)到移動手機上無處不在的數(shù)字助手，自然語言理解方面的進展正迅速從實驗室轉(zhuǎn)移到產(chǎn)品。對 NLP 的實踐和研究來說，這些成果都令人激動。

但我們還有很長的路要走。

同樣是今年，艾倫人工智能研究所的研究人員發(fā)表了《Swag: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference》，這是一個需要常識理解的句子補充任務(wù)數(shù)據(jù)集。他們的實驗表明，當前***進的 NLP 模型仍然遠不如人類表現(xiàn)。

但我們可能將在 2019 年看到更多 NLP 方面的突破。因為很多非常優(yōu)秀的計算機科學(xué)人才都在為之努力，而業(yè)界也已整裝待發(fā)。

原文鏈接：https://www.kdnuggets.com/2018/12/predictions-machine-learning-ai-2019.html

【本文是51CTO專欄機構(gòu)大數(shù)據(jù)文摘的原創(chuàng)譯文，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】

戳這里，看該作者更多好文