你是否曾經(jīng)覺得你已經(jīng)受夠了你目前的工作，想要換個(gè)方向？如果你有，你絕對不是一個(gè)人。然而，除了參加大辭典，還有一些不太激進(jìn)的方法，比如吳恩達(dá)的方法。

吳恩達(dá)是當(dāng)今人工智能領(lǐng)域最杰出的人物之一。

他是Landing·AI和DeepLearning.AI的創(chuàng)始人，Coursera的聯(lián)合主席和聯(lián)合創(chuàng)始人、斯坦福大學(xué)兼職教授。此前還曾擔(dān)任百度首席科學(xué)家和谷歌大腦項(xiàng)目的創(chuàng)始人之一。

不過據(jù)他自己講，他目前的重點(diǎn)已經(jīng)轉(zhuǎn)移，從數(shù)字世界轉(zhuǎn)移到了現(xiàn)實(shí)世界，正所謂「從比特到事物」。

2017年，吳恩達(dá)創(chuàng)立了Landing AI，這是一家致力于促進(jìn)人工智能在制造業(yè)中的應(yīng)用的創(chuàng)業(yè)公司。

我們采訪了吳恩達(dá)，討論了他所說的人工智能的以數(shù)據(jù)為中心的方法"，以及它與他在Landing AI的工作和當(dāng)今人工智能的大背景之間的關(guān)系。

從數(shù)字化到落地

吳恩達(dá)表示，他的動(dòng)機(jī)是面向行業(yè)的。他認(rèn)為制造業(yè)是 「對每個(gè)人的生活有巨大影響的偉大行業(yè)之一，但對我們許多人來說是如此不可見。」

許多國家，包括美國在內(nèi)，都對制造業(yè)的衰落感到悲哀。吳恩達(dá)希望 「采用已經(jīng)改變互聯(lián)網(wǎng)企業(yè)的AI技術(shù)，利用它來幫助在制造業(yè)工作的人。」

這是一個(gè)不斷增長的趨勢。根據(jù)2021年的一項(xiàng)調(diào)查，制造業(yè)中65%的領(lǐng)導(dǎo)者正在努力試點(diǎn)AI。預(yù)計(jì)在未來五年內(nèi)將達(dá)到57.2%的復(fù)合年增長率。

雖然AI正在越來越多地應(yīng)用于制造業(yè)，但這個(gè)過程比吳恩達(dá)想象的要難得多。他坦言，當(dāng)Landing AI開始時(shí)，主要專注于咨詢工作。

但在參與了許多客戶項(xiàng)目后，吳恩達(dá)和Landing AI開發(fā)了一個(gè)新的工具包和游戲手冊，讓AI在制造業(yè)和工業(yè)自動(dòng)化領(lǐng)域發(fā)揮作用。

Landing Lens致力于使制造業(yè)和工業(yè)自動(dòng)化領(lǐng)域的客戶能夠快速、輕松地建立和部署視覺檢測系統(tǒng)。吳曉波不得不調(diào)整他在消費(fèi)者軟件方面的工作，以針對制造業(yè)的人工智能。

例如，人工智能驅(qū)動(dòng)的計(jì)算機(jī)視覺可以幫助制造商完成識別生產(chǎn)線上的缺陷等任務(wù)。但這不是一件容易的事，他解釋說。

「在消費(fèi)者軟件中，你可以建立一個(gè)單一的AI系統(tǒng)，為一億或十億用戶提供服務(wù)，并以這種方式真正獲得大量的價(jià)值，但在制造業(yè)中，每個(gè)工廠制造的東西都不一樣。所以每個(gè)制造廠都需要一個(gè)定制的AI系統(tǒng)，根據(jù)他們自己的數(shù)據(jù)進(jìn)行訓(xùn)練。」

吳恩達(dá)說，AI領(lǐng)域的許多公司面臨的挑戰(zhàn)是，如何幫助1萬家制造廠建立1萬個(gè)客戶系統(tǒng)。

以數(shù)據(jù)為中心的方法認(rèn)為，AI已經(jīng)達(dá)到了數(shù)據(jù)比模型更重要的地步。如果將AI視為一個(gè)有移動(dòng)部件的系統(tǒng)，那么就應(yīng)該保持模型的相對固定，專注于高質(zhì)量的數(shù)據(jù)來微調(diào)模型，而不是繼續(xù)推動(dòng)模型的邊際改進(jìn)。

有這種想法的人并不多。在斯坦福大學(xué)領(lǐng)導(dǎo)Hazy研究小組的Chris Ré是另一個(gè)以數(shù)據(jù)為中心的方法的倡導(dǎo)者。當(dāng)然，如前所述，數(shù)據(jù)的重要性并不新鮮。有成熟的數(shù)學(xué)、算法和系統(tǒng)技術(shù)來處理數(shù)據(jù)，這些技術(shù)已經(jīng)發(fā)展了幾十年。

然而，如何在現(xiàn)代AI模型和方法的基礎(chǔ)上建立并重新審視這些技術(shù)，才是新的要求。

就在幾年前，我們還沒有長壽的AI系統(tǒng)，也沒有目前這種規(guī)模的性能強(qiáng)大的深度模型。吳恩達(dá)指出，自從他在2021年3月開始談?wù)撘詳?shù)據(jù)為中心的AI以來，他得到的反應(yīng)讓他想起了大約15年前他和其他人開始討論深度學(xué)習(xí)的時(shí)候的場景。

吳恩達(dá)說「今天人們的反應(yīng)是：“我一直都知道這個(gè)，沒有什么新東西”，到'這不可能成功'。"但也有一些人說'對，我一直覺得這個(gè)行業(yè)需要這個(gè)東西，這是一個(gè)偉大的方向'。」

「數(shù)據(jù)為中心」的AI與基礎(chǔ)模型

假如說，以數(shù)據(jù)為核心的人工智能是正確的方向，那么該如何在現(xiàn)實(shí)世界運(yùn)作這一切呢？吳恩達(dá)指出，指望機(jī)構(gòu)訓(xùn)練各自的定制AI模型是不現(xiàn)實(shí)的。

唯一一個(gè)走出這種困境的辦法就是設(shè)計(jì)一種工具，讓客戶有能力設(shè)計(jì)自己的模型，收集數(shù)據(jù)，表達(dá)各自領(lǐng)域的知識。

吳恩達(dá)和Landing AI將通過Landing Lens實(shí)現(xiàn)這一點(diǎn)，賦予各領(lǐng)域?qū)＜彝ㄟ^數(shù)據(jù)標(biāo)記的方式傳達(dá)知識的能力。吳恩達(dá)指出，在生產(chǎn)領(lǐng)域，一般沒有大量的數(shù)據(jù)來做參照。比方說，如果目標(biāo)是識別出錯(cuò)的產(chǎn)品，那么一條還算不錯(cuò)的生產(chǎn)線就沒那么多廢品的圖片來參照。

在生產(chǎn)領(lǐng)域，有時(shí)候全世界只有50張圖片做參照。這對現(xiàn)有的AI來說根本不夠。這也就是為什么現(xiàn)在關(guān)注的重點(diǎn)應(yīng)該轉(zhuǎn)向讓專家通過收集數(shù)據(jù)來記錄他們所擁有的知識。

吳恩達(dá)說，Landing AI的平臺正在做這件事。該平臺可以幫助用戶找到最有用的案例，來構(gòu)建最一致的標(biāo)簽，并且提高輸入到算法里的圖片和標(biāo)簽的質(zhì)量。

這里的關(guān)鍵是「一致性」。吳恩達(dá)和他之前的一些人發(fā)現(xiàn)，專業(yè)知識并不能被單一專家定義。對一位專家來說有缺陷的東西可能會(huì)被另一位專家重視。這種現(xiàn)象并不是才有，但只有在不得不生成注釋相同的數(shù)據(jù)集時(shí)才會(huì)浮出水面。

吳恩達(dá)表示，「這就是為什么我們需要好的工具和工作流程來讓專家能快速達(dá)成一致。沒有必要在已經(jīng)打成共識的地方花時(shí)間。相反，我們的目標(biāo)是關(guān)注專家們沒有達(dá)成一致意見的部分，這樣他們就可以通過討論來解決存在缺陷的部分。事實(shí)證明，想讓AI系統(tǒng)快速獲得良好性能，達(dá)成整個(gè)數(shù)據(jù)的一致性至關(guān)重要。」

這種方法不僅很有意義，而且也有一些相似之處。吳恩達(dá)所描述的過程顯然背離了當(dāng)今 AI 經(jīng)常采用的「投入更多數(shù)據(jù)」的方法，而是更多指向基于管理、元數(shù)據(jù)和語義協(xié)調(diào)的方法。

事實(shí)上，像Google前機(jī)器翻譯主管David Talbot這樣的人一直在傳達(dá)這么一個(gè)思想：除了從數(shù)據(jù)中學(xué)習(xí)之外，應(yīng)用各個(gè)領(lǐng)域內(nèi)的知識對機(jī)器翻譯也很有意義。在應(yīng)用機(jī)器翻譯和自然語言處理 (NLP) 的情況下，所說的領(lǐng)域內(nèi)的知識就指的是語言學(xué)。

我們現(xiàn)在已經(jīng)達(dá)到了一個(gè)新階段，我們擁有所謂的NLP基礎(chǔ)模型：比方說像GPT3這樣的巨大模型。經(jīng)過大量數(shù)據(jù)訓(xùn)練，人們可以使用這些模型針對特定的應(yīng)用程序或領(lǐng)域進(jìn)行微調(diào)。然而，這類NLP基礎(chǔ)模型并沒有真正上利用各領(lǐng)域的知識。

計(jì)算機(jī)視覺的基礎(chǔ)模型能不能做到這一點(diǎn)呢？如果能的話，我們該如何實(shí)現(xiàn)，以及何時(shí)能實(shí)現(xiàn)？實(shí)現(xiàn)又將帶來什么？根據(jù)吳恩達(dá)的說法，基礎(chǔ)模型既是規(guī)模問題，也是傳統(tǒng)問題。他認(rèn)為這是可以實(shí)現(xiàn)的，因?yàn)橛泻芏嘌芯拷M正在嘗試建立計(jì)算機(jī)視覺的基礎(chǔ)模型。

吳恩達(dá)說，「這不是說，頭一天它還不是基礎(chǔ)模型，到第二天就是了。在NLP的案例中，我們看到了模型是在發(fā)展的，從Google的BERT模型、transformer模型、GPT2到GPT3。

這是一系列規(guī)模越來越大的模型，在越來越多的數(shù)據(jù)上進(jìn)行訓(xùn)練，然后人們將其中一些新興的模型稱為基礎(chǔ)模型。

吳恩達(dá)說，「我相信我們會(huì)在計(jì)算機(jī)視覺中看到類似的東西。很多人多年來一直在ImageNet上進(jìn)行預(yù)訓(xùn)練，我認(rèn)為趨勢逐漸會(huì)是對越來越大的數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，越來越多地在未標(biāo)記的數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并且越來越多地將會(huì)在視頻上進(jìn)行預(yù)訓(xùn)練。」

AI的下一個(gè)10年

作為一名計(jì)算機(jī)視覺的內(nèi)部人士，吳恩達(dá)非常清楚人工智能正在取得的穩(wěn)步進(jìn)展。他認(rèn)為，在未來的某個(gè)時(shí)候，媒體和公眾將宣布，計(jì)算機(jī)視覺模型屬于基礎(chǔ)模型。然而，能否準(zhǔn)確預(yù)測何時(shí)會(huì)應(yīng)驗(yàn)則是另一回事。

對于擁有大量數(shù)據(jù)的應(yīng)用程序，例如NLP，輸入系統(tǒng)的領(lǐng)域知識量隨著時(shí)間的推移而不斷下降。吳恩達(dá)解釋說，在深度學(xué)習(xí)（包括計(jì)算機(jī)視覺和 NLP）的早期，人們通常會(huì)訓(xùn)練一個(gè)小型的深度學(xué)習(xí)模型，然后將其與更傳統(tǒng)的各領(lǐng)域知識庫的方法結(jié)合起來，這是因?yàn)樯疃葘W(xué)習(xí)的效果不佳。

但隨著模型的規(guī)模越來越大，數(shù)據(jù)越來越多，注入的各領(lǐng)域的知識也越來越少。根據(jù)吳恩達(dá)的說法，人們傾向于認(rèn)為大量數(shù)據(jù)有是一種學(xué)習(xí)算法。這就是為什么機(jī)器翻譯最終證明了學(xué)習(xí)方法的端到端的純度可以表現(xiàn)得不錯(cuò)。但這僅僅適用于需要學(xué)習(xí)大量數(shù)據(jù)的問題。

當(dāng)擁有的是相對較小的數(shù)據(jù)集時(shí)，領(lǐng)域知識確實(shí)變得很重要。吳恩達(dá)認(rèn)為人工智能系統(tǒng)提供了兩種知識來源——數(shù)據(jù)和人類經(jīng)驗(yàn)。當(dāng)我們擁有大量數(shù)據(jù)時(shí)，人工智能將更多地依賴數(shù)據(jù)，而不是人類知識。

然而，在數(shù)據(jù)匱乏的領(lǐng)域，比如在制造業(yè)，我們只能依賴人類知識。技術(shù)上的方法就是構(gòu)建工具，讓專家得以表達(dá)他們的知識。

這似乎指向了諸如魯棒人工智能、混合人工智能或神經(jīng)符號人工智能之類的方法，以及用于表達(dá)領(lǐng)域知識的知識圖譜等技術(shù)。然而，雖然吳恩達(dá)知道這些技術(shù)，并覺得它們很有趣，但 Landing AI并沒有與它們合作。

吳恩達(dá)還發(fā)現(xiàn)所謂的多模態(tài)AI或結(jié)合不同形式的輸入（例如文本和圖像）是有發(fā)展前景的。在過去十年里，關(guān)注的重點(diǎn)是建設(shè)和完善單一模態(tài)的算法。現(xiàn)在人工智能社區(qū)變得更龐大了，并且已經(jīng)取得了進(jìn)展，那么追求這個(gè)方向就是有意義的。

雖然吳恩達(dá)是最早使用GPU進(jìn)行機(jī)器學(xué)習(xí)的人之一，但如今的他卻不太關(guān)注硬件方面了。雖然擁有一個(gè)蓬勃發(fā)展的人工智能芯片生態(tài)系統(tǒng)是一件好事，包括英偉達(dá)、AMD 和英特爾等老牌企業(yè)以及擁有新穎架構(gòu)的新貴，但這并不是終點(diǎn)。

在過去的十年里，人工智能的大部分焦點(diǎn)都集中在大數(shù)據(jù)上——也就是說，讓我們利用巨大的數(shù)據(jù)集訓(xùn)練規(guī)模更大的神經(jīng)網(wǎng)絡(luò)。這是吳恩達(dá)本人幫助推廣的。

但是，雖然在大模型和大數(shù)據(jù)方面存在進(jìn)展，但吳恩達(dá)表示，他認(rèn)為如今AI的發(fā)展重點(diǎn)應(yīng)該轉(zhuǎn)向小數(shù)據(jù)和以數(shù)據(jù)為中心的AI。

吳恩達(dá)說，「十年前，我低估了發(fā)展深度學(xué)習(xí)所需的工作量，我認(rèn)為今天很多人都低估了發(fā)展以數(shù)據(jù)為核心的AI所需的工作量、創(chuàng)新、創(chuàng)造力和工具。但是，我們未來幾年在這方面將會(huì)取得進(jìn)展，我認(rèn)為它將支持更多的人工智能應(yīng)用，我對此感到非常興奮。」