今天看到一篇文章，說是Google泄露了一份文檔《我們沒有護(hù)城河，OpenAI也沒有》，描述了某位Google員工（非Google公司）對開源AI的看法，觀點(diǎn)很有意思，大致的意思是這樣的：

ChatGPT大火以后，各大廠商都對LLM趨之若鶩，瘋狂投入。

Google也在努力，希望能翻盤，但是大家都無法贏得這場軍備競賽，因?yàn)榈谌秸谇那牡爻缘暨@個(gè)大蛋糕。

這個(gè)第三方就是開源大模型。

開源大模型已經(jīng)做到了：

1. 在Pixel 6上以每秒5個(gè)token的速度運(yùn)行基礎(chǔ)的模型。

2. 一個(gè)晚上就可以在個(gè)人電腦上微調(diào)個(gè)性化的AI：

雖然OpenAI和Google的模型在質(zhì)量上有優(yōu)勢，但是差距正以驚人的速度在縮小：

開源模型更快，可定制，更私密，功能更強(qiáng)。

開源大模型用100美元和13B的參數(shù)做事情，幾周內(nèi)搞定；而Google 在1000萬美元和540B的參數(shù)下，在幾個(gè)月內(nèi)苦苦掙扎。

當(dāng)免費(fèi)的，不受限制的替代品在質(zhì)量上和封閉的模型有一拼的時(shí)候，人們肯定會拋棄封閉的模型。

這一切都從Facebook開源LLaMA開始，3月初，開源社區(qū)得到了這個(gè)真正有能力的基礎(chǔ)模型，雖然沒有instruction ，conversation tuning，沒有RLHF，社區(qū)立刻就意識到了這個(gè)東西的重要性。

隨后的創(chuàng)新簡直是瘋狂的，甚至以天為單位：

2-24 ：Facebook 推出LLaMA，此時(shí)僅授權(quán)給研究機(jī)構(gòu)，政府組織使用

3-03 ：LLaMA在互聯(lián)網(wǎng)上泄露，雖然不允許商用，但是突然之間，任何人都可以玩了。

3-12 ：在Raspberry Pi上運(yùn)行LLaMA，速度很慢，不實(shí)用

3-13：斯坦福發(fā)布了Alpaca，為LLaMA增加了instruction tuning，更“嚇人”的是，斯坦福的Eric J. Wang 使用一塊RTX 4090 顯卡，只用5 個(gè)小時(shí)就訓(xùn)練了一個(gè)和Alpaca 水平相當(dāng)?shù)哪Ｐ停瑢⑦@類模型對算力的需求降到了消費(fèi)級。

3-18：5天以后，Georgi Gerganov使用4位quantization技術(shù)在MacBook CPU 上運(yùn)行 LLaMA，它是第一個(gè)“無 GPU”解決方案。

3-19：僅僅過了一天，加州大學(xué)伯克利分校、CMU、斯坦福大學(xué)、加州大學(xué)圣地亞哥分校的研究人員聯(lián)合推出Vicuna，號稱達(dá)到了 OpenAI ChatGPT 和 Google Bard 90% 以上的質(zhì)量，同時(shí)在超過 90% 的情況下優(yōu)于 LLaMA 和 Stanford Alpaca 等其他模型。

3-25：Nomic 創(chuàng)建了GPT4all，它既是模型，又是一個(gè)生態(tài)系統(tǒng)，我們第一次看到多個(gè)模型聚集在一個(gè)地方

......

僅僅在一個(gè)月的時(shí)間內(nèi)，instruction tuning、quantization、quality improvements、human evals、multimodality、RLHF等都出現(xiàn)了。

更重要的是，開源社區(qū)解決了可擴(kuò)展的問題，訓(xùn)練的門檻從大公司降低到了一個(gè)人，一個(gè)晚上和一臺功能強(qiáng)大的個(gè)人電腦。

所以作者在最后說：OpenAI也和我們一樣犯了錯，也頂不住開源的沖擊。我們要建立生態(tài)系統(tǒng)，讓開源為Google工作。

Google已經(jīng)在Android和Chrome上應(yīng)用了這種范式，并且獲得了巨大的成功。應(yīng)該讓自己成為大模型開源的領(lǐng)導(dǎo)者，繼續(xù)鞏固自己作為思想領(lǐng)袖和引領(lǐng)者的地位。

說實(shí)話，這一個(gè)多月來大語言模型的發(fā)展真是讓人眼花繚亂，目不暇接，每天都處于被轟炸狀態(tài)。

這讓我想起了早些年互聯(lián)網(wǎng)剛起步的時(shí)候，今天冒出一個(gè)激動人心的網(wǎng)站，明天又冒出一個(gè)。還有移動互聯(lián)網(wǎng)爆發(fā)的時(shí)候，今天一個(gè)app火了，明天另外一個(gè)app又火了......

從我個(gè)人來講，我也不希望這些大語言模型被控制在巨頭手中，我們只能“寄生”在這些巨頭模型上，調(diào)用一下它的API，開發(fā)一點(diǎn)兒應(yīng)用，這是很不爽的。最好是百花齊放，平民化，讓大家都能建立自己私有的模型。

現(xiàn)在訓(xùn)練的成本小公司應(yīng)該可以承受了，如果程序員有這個(gè)訓(xùn)練的能力，結(jié)合下特定的行業(yè)和領(lǐng)域，也許是不錯的機(jī)會。

程序員要想熟練掌握私有化大模型，除了原理之外，還是得自己動手練，我們星球也有幾十個(gè)人在組隊(duì)練習(xí)，雖然開源社區(qū)極大地降低了成本，但是要想訓(xùn)練出一個(gè)有用的模型，這玩意兒對硬件環(huán)境要求還是太高，顯卡很貴，RTX4090怎么著也得上萬，肉疼，去云端租一個(gè)GPU訓(xùn)練價(jià)格更是不可控，訓(xùn)練失敗，錢就白白扔掉了，這不像學(xué)習(xí)一門語言或者框架，下載幾個(gè)安裝包就搞定，幾乎是零成本。

希望門檻進(jìn)一步降低吧！