深度學習已成強弩之末?Bengio等大牛NeurlPS2019上支招
局面越來越清楚:
靠增加算力、更多數據,并不能解決AI面臨的挑戰。
NeurlPS 2019上,多位專家討論到AI的未來,認為深度學習算法的瓶頸已經出現。
有人覺得深度學習方法可以進化,有人則期待新的方法出現。
相通的是,專家都紛紛把目光轉向生物,希望能在自然智能身上獲得靈感。
深度學習的局限
來自谷歌的Aguera y Arcas說:
我們有點像趕上班車的狗
他表示,深度學習已搞定了AI方面的一些長期挑戰,但是,還有許多存在的挑戰,目前無法解決。
涉及推理或社會智能的問題,比如,想用AI來衡量潛在雇員,仍然遙不可及。
而且目前所有訓練的模型只是通過一個測試,或者贏得一個有評分的比賽。但是人類這樣的智能可以做的事情遠遠超出這種有規則的模式。
深度學習三巨頭之一、圖靈獎得主Yoshua Bengio在接受Spectrum采訪時表示:
現在的深度學習還無法達到一個兩歲孩子的智商,完成一項任務需要很多的數據,而且還會犯很多愚蠢的錯誤。

從公司落地的層面而言,對于技術實現的預測也表現得謹慎起來。
Google對自動駕駛出租車實現的預測,已經改變了原來的樂觀態度,變得充滿克制。
Facebook的AI副總裁Jerome Pesenti最近表示,他的公司和其他公司不應該期待僅通過開發具有更多計算能力和數據的更大的深度學習系統來繼續在AI方面取得進步。
對創新的呼吁
面對這一現狀,人們提出了自己的建議。
Arcas和Bengio都希望與會者多考慮自然智能的生物學根源。
Arcas展示了一項模擬細菌的試驗。這些細菌通過人工進化的方式進行覓食和交流。
而Yoshua Bengio認為深度學習這個方法行得通,他正在往工具箱里增加更多的東西。
他在會議上做了主題為從深度學習系統1到深度學習系統2的演講,提出軟注意力和深度強化學習方式能夠促進解決推理、計劃、捕獲因果關系等問題。

他的新方法受到了自然智能的啟發。根據意識的先驗性進行相關假設,許多高級依賴關系可以通過稀疏因子圖近似地捕獲。軟注意力機制構成了一個關鍵因素,它可以一次將計算集中于幾個概念(“意識思維”)。
蒙特利爾大學副教授Irina Rish則希望能夠出現新想法:
深度學習很棒,但是我們需要一個不同的工具箱。
他回憶起2006年的一次非正式深度學習研討會,比喻就像“宗教聚會”,組織者拒絕接受邊緣的技術想法。
雖然在今年的大會上,深度學習是主流,他希望自己的發言能夠支持新的想法出現。
元學習
新的出路也被談及。
Uber研究員Jeff Clune已經表示明年會加入Open AI 。他還是新興領域元學習metalearning的成員。這一領域希望實現AI自己設計學習算法。
在演講中,他介紹了POET成對結合開放式開拓者,讓AI掌握自我進化來變得更聰明。這一方法的靈感之一是自然進化。他給了一個例子,動畫中的一雙腿可以自動學習在更復雜的地形上走路。


場景的多樣性和復雜度會自動增加

最終可以自己學會下樓梯

不知道你有沒有想過,AI的發展將怎樣實現下一個突破呢?