開源大模型的標桿 Llama 3，居然都「被閉源」了。今天，開源再次成為了人們討論的話題。

如今，開源的人工智能算法無處不在，從個人開發(fā)者到大型科技公司，大家都在享受最新技術帶來的成果。

就連目前最熱門的大模型領域，也區(qū)分了開源和閉源兩個互相競爭的大方向。人們認為，隨著開源技術的擴散與交流，開源的大模型最終將趕上 OpenAI 這樣的業(yè)界頂尖水平。這或許就是扎克伯格等人理想中的繁盛景象。

不過，在層出不窮的新 AI 模型評論區(qū)里，我們也經(jīng)常看到有人吐槽「連權重、數(shù)據(jù)都沒有，這算什么開源？」

這個時候，一家有影響力的機構終于決定站出來，對開源這件事下一個定義了。

今年 10 月，「真開源」定義就要來了

開放源代碼促進會（OSI）最近公布了其對「開源 AI」的最新定義草案。此舉旨在澄清 Open Source 這一術語在快速發(fā)展的科技領域中，經(jīng)常出現(xiàn)的模糊用法。

這個定義似乎來的正是時候。一個月前，大模型領域剛剛經(jīng)歷過一輪開源技術更新。Meta 發(fā)布了迄今為止最強的開源大模型 Llama 3.1 405B，宣布所有 Llama 版本的總下載量已超過 3 億次，創(chuàng)業(yè)公司 Mistral 也緊接著宣布開源了 Large 2 大模型。

這些公司發(fā)布的預訓練 AI 語言模型帶有權重使用限制，同時繼續(xù)使用了「開源」標簽。這引發(fā)了開發(fā)者們對 AI 技術背景下什么才是真「開源」的激烈爭論。

因為最近一段時間，開源變得越來越像是一個營銷術語，將大模型描述為「開源」可以讓人們對其變得更加信賴，即使研究人員和開發(fā)者時常會被這些許可證所限制。

Llama-3.1 發(fā)布的時候，Yann LeCun 曾宣傳了開源的優(yōu)勢。

OSI 給出的定義下，很多事情需要我們來重新審視。例如，Meta 的 Llama 3 模型雖然可以自由獲取，但 Meta 針對使用 Llama 系列模型的公司規(guī)模及通過該模型生成的內容類型，設定了特定的許可限制。因此，Llama 不符合 OSI 為軟件定義的傳統(tǒng)開源標準。

文生圖模型 Flux 實際上也不是真正的開源。由于這種模糊性，OSI 通常用「開放權重」或「代碼可用」等術語來指代那些含有代碼或權重限制或缺乏配套訓練數(shù)據(jù)的 AI 模型。

為了正式解決「真假開源」的問題，一向倡導開源的 OSI 召集了一個專家團隊來為「開源」下定義。這個約 70 人的團隊由研究人員、律師、政策制定者組成，其中還有來自 Meta、Google 和亞馬遜等大型科技公司的代表。他們起草的最新草案為判斷 AI 模型是否符合開源標準提出了「四項基本自由」：不限制使用目的，允許深入研究其工作原理，支持隨意修改，無論是否進行過修改都允許用戶自由分享模型。

這「四項基本自由」也沿用了人們對開源軟件的定義。OSI 希望通過對「開源 AI」樹立明確的標準，方便開發(fā)者、研究人員和用戶在創(chuàng)建、研究或使用 AI 工具做出更明智的決策。

OSI 執(zhí)行董事 Stefano Maffulli 在 Linux 基金會 AI_dev 大會上發(fā)布了對開源定義的最新版草案

換句話說，開源對于 AI 更加穩(wěn)定安全：如果 AI 模型做到了真正的「開源」，研究人員將能分析 AI 模型背后的工作方式，AI 系統(tǒng)的潛在軟件漏洞也將更加明顯。相較于 OpenAI 的「閉源」系統(tǒng) ChatGPT，其確切的架構是一個嚴格保密的秘密。

據(jù) OSI 的項目時間表顯示，他們預計在 2024 年 10 月在 All Things Open 會議上正式宣布「開源 AI」定義的最終版。

那么在這個定義下，有哪些大模型是「開源」的呢？據(jù)說在第一批名單里包括 EleutherAI 的 Pythia、Ai2 的 OLMo 和開源集體 LLM360 等。

「創(chuàng)新不應該需要許可」

在五月份的新聞發(fā)布會上，OSI 強調了為真正的「開源」AI 厘清定義的重要性。「AI 與常規(guī)軟件不同，需要迫使所有利益相關者重新審視開源原則對該領域的適用性」，OSI 的執(zhí)行董事 Stefano Maffulli 說，「OSI 相信每個人都應保有對技術的主導權和控制權。我們還認識到，當定義明確后，它將推動 AI 系統(tǒng)更加透明、更緊密的協(xié)作和無需許可的創(chuàng)新，市場就會繁榮發(fā)展。」

OSI 的最新草案不止要求「開源」模型本身及其權重，還要求對整個系統(tǒng)更加廣義的開放。 一個 AI 系統(tǒng)要想被認定為「開源」，必須提供 OSI 定義的「適合修改的形式」，其中包括訓練數(shù)據(jù)的詳細信息、用于訓練和運行系統(tǒng)的全部源代碼，以及模型權重和參數(shù)。這些都必須在 OSI 認可的許可證或條款下提供。

值得注意的是，這份草案并沒有強制要求公開原始訓練數(shù)據(jù)。相反，它要求提供關于訓練數(shù)據(jù)和方法的詳細元數(shù)據(jù)。比如數(shù)據(jù)的來源、選擇標準、預處理技術以及其他相關細節(jié)，方便研究者重建類似的系統(tǒng)。

這種方法旨在不公開實際數(shù)據(jù)集的情況下提供透明度和可復制性，在堅持開源原則的同時，從表面上解決了潛在的隱私和版權問題。不過是否能達成預計的效果，可能還有待進一步討論。

訓練數(shù)據(jù)的來源缺乏透明度，已經(jīng)導致了一系列針對大型 AI 公司的訴訟。從 OpenAI 這樣的業(yè)內帶頭人到 Suno 這樣的小應用，這些公司的生成式 AI 產(chǎn)品除了聲稱包含「可公開訪問的信息」外，并未披露太多有關其訓練集的信息。很多人呼吁開源模型應該披露所有訓練集，不過由于版權和數(shù)據(jù)所有權等問題，這一標準很難執(zhí)行。

「這個定義最有趣的是，他們允許不公開訓練數(shù)據(jù)，」獨立 AI 研究員 Simon Willison 在接受外媒 Ars Technica 采訪時說道：「這是一個非常務實的方法 —— 如果不允許這樣，那就幾乎就沒有模型算『開源』了。」

OSI 想明確「開源」的定義，這個想法可以追溯到 2022 年，當時它首次開始聯(lián)系有關組織，邀請他們一起來定義這個術語。

「經(jīng)過近兩年，我們從世界各地征求意見，來確定適合 AI 系統(tǒng)的開源原則，OSI 現(xiàn)在正在全球巡講，希望能夠完善并驗證草案中的定義，」Maffulli 表示，「定義『開源』的研討會仍在進行，現(xiàn)在參與還不晚，可以通過 OSI 網(wǎng)站找到論壇，發(fā)表評論建言獻策。」

當最終定義在 10 月揭曉時，新的「開源」AI 定義可能對行業(yè)產(chǎn)生深遠影響。它將影響公司以何種形式發(fā)布 AI 模型，并塑造未來的法規(guī)，例如加州備受爭議的 SB-1047 法案。

希望新的定義，能夠進一步推動大模型領域的技術創(chuàng)新。