時(shí)隔五年，Transformer 的八位作者僅有一位還留在谷歌。

如果你在一家大廠做出了一份行業(yè)里程碑式的研究，那么接下來的職場(chǎng)生涯你會(huì)怎么走?繼續(xù)留在這家大廠?換一家待遇更好的大廠?還是創(chuàng)業(yè)或加入有前景的創(chuàng)業(yè)公司?

Transformer(出自論文《Attention Is All You Need》)幾位作者的選擇或許有一定的代表性：其中六人選擇創(chuàng)業(yè)或加入創(chuàng)業(yè)公司，只有一人選擇繼續(xù)留在谷歌，還有一位去了 OpenAI。

這篇重要論文發(fā)表于 2017 年，如今引用量已經(jīng)突破 41000。論文注釋中寫道，幾位作者對(duì)這份研究做出了不同但同等重要的貢獻(xiàn)(排名隨機(jī))。具體來說，他們的分工可以概括為：

• Jakob 提出用自注意力替代 RNN，并開始努力嘗試這一想法;
• Ashish 和 Illia 一起設(shè)計(jì)并實(shí)現(xiàn)了第一批 Transformer 模型，并重度參與了 Transformer 架構(gòu)的各方面工作;
• Noam 提出了縮放點(diǎn)積注意力、多頭注意力和無參數(shù)位置表示，并成為幾乎每一個(gè)細(xì)節(jié)的參與者;
• Niki 在原始代碼庫和 tensor2tensor 中設(shè)計(jì)、實(shí)現(xiàn)、調(diào)優(yōu)和評(píng)估了無數(shù)的模型變量;
• Llion 還嘗試了新的模型變體，負(fù)責(zé)初始代碼庫以及高效的推理和可視化;
• Lukasz 和 Aidan 花了無數(shù)天的時(shí)間來設(shè)計(jì)和實(shí)現(xiàn) tensor2tensor 的各個(gè)部分，替換了早期的代碼庫，極大地改善了結(jié)果、加速了研究進(jìn)度。

可以說，每位作者都有自己擅長的工作，對(duì)于行業(yè)也都有自己的預(yù)判。論文發(fā)表五年之后，他們都在做什么呢?以下是我們能夠查到的信息。

Ashish Vaswani、 Niki Parmar：投身通用智能

2022 年 4 月 26 日，一家名為「Adept」的公司官宣成立，共同創(chuàng)始人有 9 位，其中就包括 Ashish Vaswani 和 Niki Parmar。

Ashish Vaswani 在南加州大學(xué)拿到博士學(xué)位，師從華人學(xué)者蔣偉(David Chiang)和黃亮(Liang Huang)，主要研究現(xiàn)代深度學(xué)習(xí)在語言建模中的早期應(yīng)用。2016 年，他加入了谷歌大腦并領(lǐng)導(dǎo)了 Transformer 的研究。

Niki Parmar 碩士畢業(yè)于南加州大學(xué)，2016 年加入谷歌。工作期間，她為谷歌搜索和廣告研發(fā)了一些成功的問答和文本相似度模型。她領(lǐng)導(dǎo)了擴(kuò)展 Transformer 模型的早期工作，將其擴(kuò)展到了圖像生成、計(jì)算機(jī)視覺等領(lǐng)域。

Ashish Vaswani、Niki Parmar 等人共同創(chuàng)立的 Adept 是一家致力于用 AI 來增強(qiáng)人類能力并最終實(shí)現(xiàn)通用智能的公司。在闡述公司創(chuàng)立初衷時(shí)，創(chuàng)始人寫道，「在谷歌，我們訓(xùn)練出了越來越大的 Transformer，夢(mèng)想著有朝一日構(gòu)建一個(gè)通用模型來支持所有 ML 用例。但是，這其中有一個(gè)明顯的局限：用文本訓(xùn)練出的模型可以寫出很棒的文章，但它們無法在數(shù)字世界中采取行動(dòng)。你不能要求 GPT-3 給你訂機(jī)票，給供應(yīng)商開支票，或者進(jìn)行科學(xué)實(shí)驗(yàn)。」

因此，他們打算創(chuàng)建一個(gè)通用系統(tǒng)，幫助人們?cè)陔娔X前完成工作，「你可以把它想象成你電腦里的一個(gè) overlay，它和你一起工作，使用和你一樣的工具。使用 Adept，你能專注于你真正喜歡的工作，并要求模型承擔(dān)其他任務(wù)。例如，你可以要求模型生成月度合規(guī)報(bào)告，所有這些都使用現(xiàn)有的軟件，如 Airtable、Photoshop、ATS、Tableau、Twilio。」

Noam Shazeer：神秘創(chuàng)業(yè)者

Noam Shazeer 是谷歌最重要的早期員工之一。他在 2000 年底加入谷歌，直到 2021 年最終離職。

曾經(jīng)，Noam Shazeer 和同事 Georges Harik 花了數(shù)年時(shí)間分析網(wǎng)頁上的數(shù)據(jù)，理解詞組及其協(xié)同工作原理。他們收集的數(shù)據(jù)最終被谷歌用于其 AdSense 產(chǎn)品，該產(chǎn)品會(huì)分析網(wǎng)頁的文字內(nèi)容并在上面貼廣告。

2021 年，Noam Shazeer 成為了一家隱形初創(chuàng)企業(yè)的 CEO，名字叫做「CharacterAI」，關(guān)于這家公司的組織架構(gòu)和業(yè)務(wù)模式，外界不甚了解。

Jakob Uszkoreit：發(fā)明「Transformer」名字的人，轉(zhuǎn)向分子設(shè)計(jì)

2021 年，Jakob Uszkoreit 和 Rhiju Das 共同創(chuàng)立了 Inceptive，致力于通過高度可擴(kuò)展的實(shí)驗(yàn)和深度學(xué)習(xí)的奇異結(jié)合來實(shí)現(xiàn)下一代 RNA 分子的設(shè)計(jì)。

在谷歌工作期間，Jakob Uszkoreit 參與了組建谷歌助理的語言理解團(tuán)隊(duì)，早期還曾從事過谷歌翻譯的工作。

在當(dāng)時(shí)《Attention Is All You Need》這項(xiàng)研究中，Vaswani 曾表示：「注意力網(wǎng)絡(luò)聽起來并不吸引人。」

最后，Jakob Uszkoreit 想出了「Transformer」這個(gè)名字：「我認(rèn)為我們正在 transform 某些東西，當(dāng)然，這只是在玩梗。」

Llion Jones：在谷歌開啟下一個(gè)十年?

Llion Jones 是目前 Transformer 作者團(tuán)隊(duì)唯一還留在谷歌工作的人。

他在英國圭內(nèi)斯郡南部的 Abergynolwyn 長大，來到谷歌山景城園區(qū)之后，他曾感慨：「現(xiàn)在我工作地方的人數(shù)，幾乎是我長大的村莊里的 100 倍。」

Llion Jones 現(xiàn)年 36 歲，曾在 Abergynolwyn 生活多年，完成在 Coleg Meirion-Dwyfor 的學(xué)業(yè)之后，他在伯明翰大學(xué)獲得了計(jì)算機(jī)科學(xué)碩士學(xué)位。

但在畢業(yè)后的一段時(shí)間內(nèi)，Llion Jones 沒找到合適的工作。他曾經(jīng)將簡歷投遞給谷歌在倫敦的辦公室，且經(jīng)過了兩輪電話面試。由于檔期問題，Llion Jones 在收到谷歌的最終 offer 之前，已經(jīng)入職了另外一家公司。

不過，18 個(gè)月之后，另一位谷歌招聘人員聯(lián)系了他，Llion Jones 成為了一名谷歌人。從 2012 年開始，Llion Jones 一直在谷歌工作。這一任職時(shí)長差不多超過了谷歌九成員工。

Aidan N. Gomez：創(chuàng)立 NLP 平臺(tái)，一年融資 1.7 億美元

2021 年 5 月，Aidan N. Gomez 官宣成立新公司——自然語言處理平臺(tái) Cohere，基于自己訓(xùn)練的大型 NLP 模型為外界提供 API 服務(wù)。

Aidan Gomez 本科就讀于多倫多大學(xué)，是牛津大學(xué) Yarin Gal 和 Yee Whye Teh 的博士生，曾在谷歌大腦團(tuán)隊(duì)的 Geoffrey Hinton 和 Lukasz Kaiser 組內(nèi)工作。

這家公司的投資陣容頗為豪華：早期投資者包括圖靈獎(jiǎng)得主 Geoffrey Hinton、GAN 之父 Ian Goodfellow、Uber 首席科學(xué)家 Raquel Urtasun、英偉達(dá)多倫多研究實(shí)驗(yàn)室主任 Sanja Fidler 以及斯坦福大學(xué)教授李飛飛等。

GPT-3 等模型的問世讓人們看到了大規(guī)模預(yù)訓(xùn)練語言模型的潛力，也在國內(nèi)外掀起了一場(chǎng)創(chuàng)業(yè)熱潮。Cohere 團(tuán)隊(duì)的創(chuàng)始成員也都是預(yù)訓(xùn)練模型領(lǐng)域的資深研究者。但他們注意到，由于技術(shù)門檻過高，大多數(shù)人(包括普通開發(fā)人員)根本無法使用這項(xiàng)技術(shù)，因此他們致力于改變這一現(xiàn)狀。

Aidan Gomez 曾表示，為了達(dá)成這一使命，他們訓(xùn)練了一個(gè)數(shù)十億(未來可能數(shù)千億)參數(shù)的語言模型。利用該模型的 API，我們可以完成文本補(bǔ)全、從文本中提取有語義意義的向量、測(cè)量段落語義相似性等任務(wù)。用戶只需要在自己的系統(tǒng)中載入三行代碼就可以調(diào)用該模型的能力。「無論你是前端還是后端的開發(fā)人員，無論你是做 web 還是移動(dòng)，任何人都可以將 NLP 構(gòu)建到應(yīng)用程序中。」Aidan Gomez 在采訪中說到。

如今，雖然僅創(chuàng)立一年，這家公司已經(jīng)拿到了 1.7 億美元的融資。

Lukasz Kaiser：跳槽 OpenAI

2021 年 6 月，Lukasz Kaiser 從谷歌跳槽到了 OpenAI。

在 2013 年加入谷歌之前，Lukasz Kaiser 是巴黎狄德羅大學(xué)的終身研究員，從事邏輯和自動(dòng)機(jī)理論研究。他于 2008 年在亞琛工業(yè)大學(xué)獲得博士學(xué)位，在波蘭弗羅茨瓦夫大學(xué)獲得碩士學(xué)位。

Lukasz Kaiser 的研究領(lǐng)域包括深度學(xué)習(xí)和自然語言處理，在谷歌擔(dān)任研究科學(xué)家期間，他參與了機(jī)器翻譯、解析及其他算法和生成任務(wù)的 SOTA 神經(jīng)模型設(shè)計(jì)，是 TensorFlow 系統(tǒng)、Tensor2Tensor 庫的共同作者。

他的研究工作還包括使用可滿足性求解器和其他符號(hào)方法來構(gòu)建游戲系統(tǒng)和解決程序合成問題，證明關(guān)于描述復(fù)雜性、博弈論和解決長期未解決問題的自動(dòng)機(jī)的定理。

Illia Polosukhin：華麗變身區(qū)塊鏈創(chuàng)業(yè)大佬

Illia Polosukhin 現(xiàn)在是 NEAR.AI 的聯(lián)合創(chuàng)始人及 CTO。

Illia Polosukhin 來自烏克蘭，在哈爾科夫國立技術(shù)大學(xué)獲得了應(yīng)用數(shù)學(xué)和計(jì)算機(jī)科學(xué)碩士學(xué)位。移居加利福尼亞之后，他參與了各種機(jī)器學(xué)習(xí)項(xiàng)目，并加入了谷歌研究院，僅用一年就成為了工程主管。

三年后，他決定和 Alexander Skidanov 共同創(chuàng)辦 NEAR.AI：「我們堅(jiān)信『程序合成』這一從人類規(guī)范出發(fā)研究自動(dòng)化編程的領(lǐng)域?qū)⒏淖冘浖_發(fā)和整個(gè)世界。」

但隨著創(chuàng)業(yè)過程的深入，他們意識(shí)到，即使專注于簡單的問題，任務(wù)描述也很復(fù)雜。描述中使用的概念和語言種類繁多，模型無法捕捉，一些問題也需要邏輯推理步驟和外部數(shù)學(xué)知識(shí)。他們發(fā)現(xiàn)，之前的研究結(jié)果在實(shí)踐中尚不可用(最佳模型的準(zhǔn)確率約為 12%)，機(jī)器學(xué)習(xí)特別是自然語言理解的轉(zhuǎn)折點(diǎn)，似乎還沒有出現(xiàn)。

后來，NEAR.ai 這家公司開始轉(zhuǎn)向區(qū)塊鏈。Illia 在一篇有關(guān)公司轉(zhuǎn)型的博客中寫道：

• 考慮到我們?cè)诔绦蚝铣煞矫嫠龅墓ぷ鳎檰柦ㄗh我們把研究方向改成為以太坊生成智能合約。目前，普通工程師很難編制可證明的合同，程序合成可以有效解決這個(gè)問題;
• 在與想要開發(fā)應(yīng)用程序的人談過之后，我們逐漸了解到，他們對(duì)于「使用區(qū)塊鏈構(gòu)建應(yīng)用程序，以提供金錢激勵(lì)和更好的隱私和安全」非常關(guān)注。

自此，公司正式改名為 NEAR Protocol。他們組建了一支優(yōu)秀的人才隊(duì)伍，包括 3 名 ICPC 金牌得主、3 名 MemSQL 工程師、4 名前谷歌員工，并正在邀請(qǐng) Web3 領(lǐng)域的專家加入公司。

目前，NEAR Protocol 已經(jīng)成為一家區(qū)塊鏈分布式協(xié)議提供商，基于一種名為 Nightshade 的分片方法和共識(shí)機(jī)制，致力于開發(fā)區(qū)塊鏈底層架構(gòu)與 DApp 開發(fā)平臺(tái)，并為開發(fā)人員提供事務(wù)、智能合約帳戶和 gas 費(fèi)用回扣等協(xié)議級(jí)別工具。前段時(shí)間，該公司宣布完成 3.5 億美元的最新一輪融資。