今天，Transformer八位作者之一Llion Jones，聯手前谷歌大腦科學家、Stability AI研究主管David Ha官宣成立新公司——Sakana AI。

這家總部位于東京的初創公司，將要探索一種基于自然啟發智能的新型基礎模型。

官網地址：https://sakana.ai/

Sakana這一名字，來源于日語さかな，即為「魚」。

他們的理念是，「讓一群魚聚集在一起，從簡單的規則中形成一個連貫的實體」。

更進一步，便是進化和集體智慧。

目前來說，Sakana AI仍處于非常早期的階段：沒有構建AI模型，沒有辦公室，也并未透露融資的情況。

不過，無論是公司理念，還是創業地點的選擇，這家初創公司都透露出一絲另辟蹊徑的意味。

拋棄Transformer，專注新模型

現在各家巨頭的大語言模型都已經進化到超強了，為什么兩位創始人還是要做自己的大模型？顯然，他們有自己獨特的想法。

在Johnes和Ha看來，當前大語言模型的局限性在于，它們被設計成了脆弱、不可改變的結構，比如橋梁或建筑物。

相比之下，在自然系統中，是集體智慧在發揮作用。這個系統對周圍世界的變化非常敏感，會適應環境，并成為環境的一部分。

他們希望的正是使用這些進化計算原理構建AI模型，來解決系統的成本和安全性的問題。

David Ha稱，他們在在開發一種新型的人工智能模型，可以讓機器學習工程師維護和監控的工作時間大幅降低。

Sakana AI實驗室并沒有依賴于Jones對Transformer的突破性研究。

人盡皆知，Transformer是OpenAI等科技公司使用的一種機器學習模型，已經在生成式AI上取得了巨大的效果。

對于Sakana AI，正如名字所示，聯合創始人希望創建一種基于「自然啟發智能」的新型基礎模型。

「自然啟發的智能」可能聽起來像是60年代斯托納電影中的內容，但這一概念在人工智能研究中有著悠久的歷史。

Jones表示，這個想法是創造能夠學習和搜索解決方案的軟件，而不是必須一步一步地設計的軟件。

像ChatGPT這樣的人工智能模型容易越獄。為了防止這種打擊，開發?員必須手動更新模型。

Llion Jones和David Ha設想讓他們的模型適應環境。

比如，Ha之前研究了「permutation-invariant神經網絡」，即能夠在困難情況下執行任務的人工智能模型。當部分視覺輸入丟失或混亂時，仍舊能在模擬中駕駛汽車。

根據個人介紹，自然啟發的智能一直是Ha職業生涯中的一個主題。

除了在permutation-invariant神經網絡方面的工作，他還嘗試研究了世界模型，從周圍環境中收集數據，建立?個類似于人類的環境心理模型。

踏入競爭激烈的戰場

因此，Sakana AI將構建自己的生成式AI模型，用于生成文本、圖像、代碼及其他軟件。

這個賽道上競爭激烈之程度毋庸置疑，包括谷歌、微軟這類巨頭，以及OpenAI、Cohere、Character.ai和Anthropic等初創企業。

不過，這個領域資金也非常充足。

微軟今年在OpenAI上投資了100億美元，Cohere和Character.ai在過去幾個月中也成功獲得融資，估值分別達到了20億美元和10億美元。

為什么選擇日本

不過，Sakana AI的總部設在日本，這個創業地點的選擇多少有些不同尋常。

創始人解釋說，自己已在日本工作多年，之所以選擇東京作為公司總部，部分原因也是因為構建生成式AI軟件的市場競爭太激烈了，尤其是在北美。

而東京擁有高質量的技術基礎設施和受過良好教育的勞動力，這為AI公司的發展提供了得天獨厚的條件。

「最重要的是，建立一個在非西方社會文化中表現良好的模型，圍繞它訓練數據，這將成為下一次技術突破的催化劑。」

另外，谷歌和其他公司的人工智能研究人員，最近將注意力集中在將現有技術進行商業化，這意味著更多前沿研究的空間越來越小。

但為研究而研究是兩位聯合創始人在Sakana堅持的原則，也是他們決定將公司總部設在東京的原因之一。

兩位創始人

David Ha

David Ha將擔任Sakana AI的CEO。

2016年，David Ha加入谷歌大腦負責機器學習領域的工作。

度過漫長的6年零4個月之后，他于2022年10月加入Stability AI擔任研究主管。

在此之前，他獲得了東京大學的博士學位，以及多倫多大學的學士學位。

有趣的是，今年6月從Stability AI離職之后，David Ha本人還曾發推吐槽表示「終于有時間睡個好覺了」。

Llion Jones

Llion Jones將擔任CTO。

他最出名的代表作，那便是2017年和谷歌團隊發表的「Attention Is All You Need」。

Llion Jones是這八位作者中，最后一位離開谷歌的人。他的離去，標志著Transformer「變形金剛大解體」。

上個月，彭博最先爆料稱Transformer僅剩的一位作者Llion Jones宣布7月底要離職谷歌自創業。

當時，還未透露具體創業信息。不過，恰恰David Ha也轉發了這一消息。

Jones表示：

離開谷歌并不是一個容易的決定，我與他們度過了非常精彩的十年，但是現在是嘗試一些不同的事情的時候了。鑒于人工智能領域的勢頭和進展，現在是構建新事物的好時機。

Llion Jones于2015年6月加入了谷歌，至今已經任職8年。此前他曾就職于YouTube、Delcam。

他曾在伯明翰大學取得了和計算機專業的學士和碩士學位。

到目前為止，Jones的谷歌學術主頁中， 引用最高的一篇文章當屬17年橫空出世的「Attention Is All You Need」，引用數81266。