大模型時(shí)代，全世界AI從業(yè)者追趕OpenAI GPT系列的腳步仍未停歇，但也有人，堅(jiān)持深耕在國(guó)產(chǎn)原創(chuàng)的另一條大模型之路上。

南京大學(xué)副校長(zhǎng)、國(guó)際人工智能聯(lián)合會(huì)理事會(huì)主席周志華教授，就是其中代表。他提出的“學(xué)件范式”，旨在從數(shù)據(jù)隱私角度著手，通過模型+規(guī)約的方式構(gòu)建基座系統(tǒng)，讓用戶的需求能被自動(dòng)匹配到合適的模型、模型組合上，安全、可靠地復(fù)用他人開發(fā)的模型工具。

用戶只需要提出需求，學(xué)件基座系統(tǒng)就會(huì)根據(jù)需求，從無數(shù)學(xué)件中去找出一個(gè)或者若干個(gè)學(xué)件，甚至把它們組裝起來解決問題。

在MEET 2025智能未來大會(huì)上，周志華教授從宏觀角度和技術(shù)角度詳細(xì)為我們分享了學(xué)件范式的最新進(jìn)展。

為了完整體現(xiàn)周志華教授的觀點(diǎn)，在不改變?cè)獾幕A(chǔ)上，量子位對(duì)演講內(nèi)容進(jìn)行了編輯整理，希望能給你帶來更多啟發(fā)。

MEET 2025智能未來大會(huì)是由量子位主辦的行業(yè)峰會(huì)，20余位產(chǎn)業(yè)代表與會(huì)討論。線下參會(huì)觀眾1000+，線上直播觀眾320萬+，獲得了主流媒體的廣泛關(guān)注與報(bào)道。

核心觀點(diǎn)

• 學(xué)件=模型+規(guī)約。規(guī)約通過對(duì)模型進(jìn)行刻畫，可以使模型在不知道開發(fā)者數(shù)據(jù)的情況下被復(fù)用。
• 用戶只需要提出需求，學(xué)件基座系統(tǒng)就會(huì)根據(jù)需求，從無數(shù)學(xué)件中去找出一個(gè)或者若干個(gè)學(xué)件，甚至把它們組裝起來解決問題。
• 學(xué)件基座系統(tǒng)可以看作異構(gòu)大模型，隨著更多的模型被提交，它會(huì)長(zhǎng)大、重組，未來提供服務(wù)的時(shí)候一定程度還提供了可解釋性，和現(xiàn)在常見的大模型不同。

（以下為周志華教授演講全文）

學(xué)件=模型+規(guī)約

大家好，很高興跟大家做交流，我的題目叫作《學(xué)件和異構(gòu)大模型》。

大模型大家都很清楚是什么，那么學(xué)件是什么？

我們知道計(jì)算機(jī)里有硬件，有軟件。大概在9年前，那時(shí)候還沒有大模型，深度神經(jīng)網(wǎng)絡(luò)也剛剛開始被大家注意，那時(shí)候我們發(fā)表了一個(gè)東西，向大家公開我們的預(yù)期，說機(jī)器學(xué)習(xí)這樣發(fā)展下去會(huì)不會(huì)產(chǎn)生一種形態(tài)，我們命名為學(xué)件（Learnware）。學(xué)件從這個(gè)詞從概念，再到研究體系，都是我們完全原創(chuàng)的。

我今天主要跟大家介紹一下這條路線在做什么事。

因?yàn)榭紤]到今天這個(gè)場(chǎng)合大家主要需要一些宏觀理解，而不是技術(shù)細(xì)節(jié)，所以我們先思考這幾個(gè)問題。

第一個(gè)問題：未來機(jī)器學(xué)習(xí)解決世界上的問題，是會(huì)用一個(gè)模型解決一切，還是用很多模型協(xié)作？我想大家都會(huì)有自己的回答，我們的回答是B——可能我們需要很多模型協(xié)作。

第二個(gè)問題：這些模型是會(huì)由一位開發(fā)者開發(fā)，還是很多開發(fā)者各自開發(fā)？我們認(rèn)為這個(gè)答案應(yīng)該也是B。

第三個(gè)問題：這么多來自世界各地的開發(fā)者，他們開發(fā)的模型都有自己的數(shù)據(jù)，他們會(huì)把數(shù)據(jù)都公開嗎？我們認(rèn)為答案很可能是不公開。

第四個(gè)問題：數(shù)以百萬計(jì)的模型，是不是能一次性全部產(chǎn)生，還是陸陸續(xù)續(xù)的，今天有一些，明天有一些，后天有一些？我想這個(gè)答案肯定是B。

第五個(gè)問題：對(duì)未來某位人工智能用戶，全世界數(shù)以百萬計(jì)的模型都對(duì)他有用嗎？還是只有少量甚至個(gè)別模型有用？答案還是B。

第六個(gè)問題：對(duì)于用戶來說，這些已經(jīng)存在的模型中，一定有某個(gè)模型能解決他的任務(wù)嗎？還是未必有？說不定我們可以通過組裝一些模型來解決這個(gè)任務(wù)。我們認(rèn)為答案還是B。

有了這么多問題之后，歸結(jié)起來就是這么一個(gè)問題：在拿不到開發(fā)者的訓(xùn)練數(shù)據(jù)，甚至用戶也不愿意公開自己數(shù)據(jù)的情況下，我們?nèi)绾沃罃?shù)以百萬計(jì)、全世界各個(gè)開發(fā)者開發(fā)的模型中，哪個(gè)或者哪些經(jīng)過組裝之后對(duì)用戶是有幫助的？我們?nèi)绾文軌驅(qū)碜圆煌拈_發(fā)者、針對(duì)不同任務(wù)的模型進(jìn)行組裝復(fù)用，或者就像大家都在談的，大小模型協(xié)同。

學(xué)件這條路線就是在往這個(gè)方向努力。

學(xué)件是什么呢？學(xué)件=模型+規(guī)約。為了便于理解，我們舉一個(gè)類比，假設(shè)現(xiàn)在世界上有很多開發(fā)者做出他們的模型，他們?cè)敢夥窒硭麄兊哪Ｐ停谶@個(gè)圖上，每一把刀、每一個(gè)錘子、每一把斧頭都是一個(gè)機(jī)器學(xué)習(xí)模型。

模型大家都清楚，規(guī)約是什么？就是對(duì)模型進(jìn)行某種刻畫，使得系統(tǒng)在不知道開發(fā)者數(shù)據(jù)的情況，能夠根據(jù)未來用戶的需求被找出來復(fù)用。

容納這些模型的地方，一開始我們把它叫作“學(xué)件市場(chǎng)”，好比一個(gè)超市。后來有專家跟我們討論，說“市場(chǎng)”給大家感覺是要做交易。其實(shí)未來確實(shí)是可以做交易，比方說被用得很多的學(xué)件，可以收費(fèi)，收費(fèi)之后再回報(bào)給開發(fā)者。但在現(xiàn)在，我們主要關(guān)注其中的科學(xué)技術(shù)問題，所以我們現(xiàn)在也把它叫學(xué)件基座系統(tǒng)。

有了這個(gè)基座系統(tǒng)之后，未來用戶想要開發(fā)自己的AI任務(wù)，就不需要從頭開始。今天當(dāng)我們要做一個(gè)自己的機(jī)器學(xué)習(xí)應(yīng)用的時(shí)候，我們要搜集數(shù)據(jù)，要訓(xùn)練模型，要調(diào)參數(shù)，但是在別的領(lǐng)域不是這樣的，比如說要買一把切肉的刀，我絕對(duì)不會(huì)說自己再去采礦打鐵，我會(huì)到超市上看一看，有沒有這樣的刀。就算沒有，我找一把西瓜刀拿回家，用我自己的數(shù)據(jù)打磨打磨，說不定就能用了。

所以我們希望未來的用戶只需要提出需求，然后學(xué)件基座系統(tǒng)根據(jù)用戶需求，在學(xué)件基座系統(tǒng)所容納的無數(shù)學(xué)件中去找出一個(gè)或者若干個(gè)，甚至組裝起來解決你的問題。注意，在整個(gè)過程中，開發(fā)者的數(shù)據(jù)不披露給學(xué)件基座系統(tǒng)，甚至用戶的數(shù)據(jù)也不需要披露給學(xué)件基座系統(tǒng)。

這個(gè)事情2016年發(fā)表了第一篇論文提出這件事，后來的七年時(shí)間里面，我們沒有發(fā)表論文，一直在解決這里面的關(guān)鍵科學(xué)技術(shù)問題，目前這些問題有了初步的解決方案。在講技術(shù)方案之前，我們先宏觀地來看，和以往有什么不同。

經(jīng)典的機(jī)器學(xué)習(xí)范式，是針對(duì)某個(gè)任務(wù)做一個(gè)模型解決它。

大模型范式，是匯集很多數(shù)據(jù)去訓(xùn)練一個(gè)模型。匯集數(shù)據(jù)的過程實(shí)際上是希望數(shù)據(jù)相關(guān)方要放棄隱私和所有權(quán)，這對(duì)對(duì)話、視頻這樣的任務(wù)是比較容易做到的，但對(duì)生產(chǎn)生活中的很多任務(wù)其實(shí)不太容易。比方說，哪怕是同一個(gè)類型的企業(yè)，往往也不愿意把數(shù)據(jù)分享出來給你收集起來訓(xùn)練模型，許多企業(yè)認(rèn)為，一旦把數(shù)據(jù)分享出去，通過大模型，就等于技術(shù)優(yōu)勢(shì)分享給同行了。但如果只能用企業(yè)內(nèi)部數(shù)據(jù)，往往又不夠大模型訓(xùn)練。

學(xué)件這個(gè)范式的關(guān)鍵，是不收集你的數(shù)據(jù)，只是匯集起不同的模型。這些模型可以是為很私有的任務(wù)開發(fā)的，你不需要披露你的訓(xùn)練數(shù)據(jù)。另外，模型的黑箱性一般認(rèn)為是個(gè)壞事，而在這里卻能夠起到正面作用。有了這些模型之后，大家容易想到，可以為未來的很多任務(wù)提供服務(wù)，它們不必須是同一大類的。這很容易理解，比如有天氣預(yù)報(bào)的模型，以后當(dāng)然可以做天氣預(yù)報(bào)，有地震預(yù)測(cè)模型，以后當(dāng)然可以做地震預(yù)測(cè)。但是需要認(rèn)識(shí)到，對(duì)某些我們從來沒有考慮過的任務(wù)，也有可能通過把若干個(gè)模型拼裝起來解決它。

舉個(gè)例子，假設(shè)我們要考慮A和D分類，從來沒有開發(fā)者做過這種模型，但有人做過A和B，有人做過B和C，有人做過C和D，就有可能把它們組裝起來解決A和D的分類任務(wù)。

所以這是一條和一般大模型不同的路。第一假設(shè)所有模型都潛在有用，即便對(duì)開發(fā)者不太好的模型，對(duì)別的用戶說不定是有用的。第二可能很多小模型匯集在一起之后，能夠做一些今天我們認(rèn)為只有大模型才能做的事，當(dāng)然大小模型協(xié)作都可以在其中完成，而且不存在災(zāi)難性遺忘，因?yàn)橐粋€(gè)模型只要放在基座系統(tǒng)中，除非它的能力被完全替代，否則就一直在哪里，天然在進(jìn)行終身學(xué)習(xí)，而且不必披露開發(fā)者和用戶數(shù)據(jù)。另外，開發(fā)者提交的模型，在未來適用的時(shí)候可能超越開發(fā)者原本的意圖，用于解決他完全沒考慮過的任務(wù)。

從哲學(xué)方法論上來說，如果說大模型是幾個(gè)大英雄打天下的話，學(xué)件則是認(rèn)為“力量蘊(yùn)藏在人民群眾”中。我們預(yù)期，學(xué)件基座系統(tǒng)容納了數(shù)以百萬計(jì)的模型之后，這條路線的力量會(huì)更加涌現(xiàn)出來，很多我們?cè)瓉頉]想過的事都有可能做。

學(xué)件基座系統(tǒng)可視作異構(gòu)大模型

回到技術(shù)問題上。

規(guī)約是什么？它需要對(duì)模型進(jìn)行適當(dāng)刻畫。大概是什么做法，涉及到兩方面，一個(gè)是學(xué)件基座系統(tǒng)，一個(gè)是模型開發(fā)者。

首先學(xué)件基座系統(tǒng)給開發(fā)者發(fā)送兩個(gè)信息k和n，k是某個(gè)函數(shù)，n是規(guī)約大小。模型開發(fā)者用自己的數(shù)據(jù)訓(xùn)練模型，基于基座系統(tǒng)提供的k和n生成規(guī)約。他提交模型的時(shí)候，把規(guī)約和模型一起提交。

我們可以看到，所有的訓(xùn)練數(shù)據(jù)一直在模型開發(fā)者手上，基座系統(tǒng)是不接觸數(shù)據(jù)的，碰到的只有提交的模型和規(guī)約。大家要問了，這個(gè)規(guī)約是基于你給我的k和n生成的，你有沒有可能根據(jù)這個(gè)把我的訓(xùn)練數(shù)據(jù)破解出來？

我們最近做了一個(gè)理論證明，首先，規(guī)約不會(huì)包含開發(fā)者訓(xùn)練數(shù)據(jù)，第二，即便對(duì)信息安全中強(qiáng)大的推斷攻擊和鏈接攻擊，并且是針對(duì)確定性算法最強(qiáng)的暴力搜索這樣的攻擊，仍然可以有效地保護(hù)開發(fā)者的數(shù)據(jù)。而且有了這個(gè)結(jié)果之后，我們就可以得到關(guān)于規(guī)約大小設(shè)置的理論指導(dǎo)，通過設(shè)置為合適的大小，既能起到數(shù)據(jù)保護(hù)作用，還能支持模型復(fù)用。

為用戶提供服務(wù)的時(shí)候，學(xué)件基座系統(tǒng)有可能是反饋?zhàn)詈玫哪硞€(gè)模型，也可能是多個(gè)模型的結(jié)合，例如簡(jiǎn)單的集成，或者加權(quán)結(jié)合，其實(shí)最近大模型經(jīng)常用的MoE就是加權(quán)結(jié)合的特例，學(xué)件還可以做鏈?zhǔn)浇Y(jié)合、樹形結(jié)合等等很多種模型的結(jié)合方式。這里面還有很多探索空間。

進(jìn)一步來說，隨著學(xué)件基座系統(tǒng)中容納的學(xué)件不斷增長(zhǎng)，學(xué)件規(guī)約能否成長(zhǎng)，使其能容納越來越多的模型，且對(duì)模型的刻畫能力有所增強(qiáng)？

另外，我們還研究了如何使得規(guī)約能夠成長(zhǎng)，以及學(xué)件基座系統(tǒng)如何隨著收到更多的模型而成長(zhǎng)，這里用到了規(guī)約索引樹、稀疏哈希等技術(shù)，有很多模型不斷接收進(jìn)來，多到一定程度之后，內(nèi)部會(huì)重新組織，這樣得到一個(gè)可成長(zhǎng)、可演化的基座系統(tǒng)。

從這個(gè)角度可以看到，如果把整個(gè)學(xué)件基座系統(tǒng)看做一個(gè)異構(gòu)大模型，它和現(xiàn)在各種大模型不太一樣，是一個(gè)可成長(zhǎng)可演化的大模型，宏觀上可以理解為人民群眾組成集體是超級(jí)大模型。

我們最近開源了北冥塢學(xué)件基座系統(tǒng)，歡迎大家來使用，這是一個(gè)科研原型系統(tǒng)。現(xiàn)在許多老師同學(xué)感覺，大模型時(shí)代，在高校院所里面因?yàn)樗懔Σ粔颍y以開展科研工作了。大家可以跟企業(yè)合作開展大模型方面的研究，另一方面，學(xué)件這條路線的研究目前還不需要多大算力，并且我們目前做的都是非常粗淺的解決方案，對(duì)學(xué)件這條路線感興趣的老師同學(xué)，如果要做研究，要做實(shí)驗(yàn)，那么就可以在這個(gè)基座系統(tǒng)中做實(shí)驗(yàn)，大家應(yīng)該能做出更聰明的解決方案。

另一方面，這個(gè)基座系統(tǒng)里面現(xiàn)在容納模型還不多，還不能提供服務(wù)，歡迎大家有模型提交上來，未來模型很多之后可望能提供服務(wù)。現(xiàn)在國(guó)際上也出現(xiàn)機(jī)器學(xué)習(xí)模型平臺(tái)，相比而言，學(xué)件2016年就提出了，里面的構(gòu)想要精巧得多，能力會(huì)強(qiáng)得多，并且未來還有很大潛力發(fā)展空間。但我們作為高校師生開發(fā)的系統(tǒng)，工程化能力肯定是短板，如果有企業(yè)希望基于這個(gè)開發(fā)自己學(xué)件基座系統(tǒng)，我們也歡迎大家來合作。謝謝！

謝謝！