“ 從訓(xùn)練一個(gè)小模型開(kāi)始，大模型太復(fù)雜小模型剛剛好 ”

有句老話叫眼高手低，最近發(fā)現(xiàn)有些人就是眼高手低的現(xiàn)實(shí)案例，在什么都不懂的情況下就想搞大模型，小模型還看不上。

但其實(shí)最好的方式是從一個(gè)小模型開(kāi)始，至于原因就是因?yàn)樾∧Ｐ拖鄬?duì)比較簡(jiǎn)單一點(diǎn)，其次就是硬件要求較低，普通人能夠玩的轉(zhuǎn)。

從小模型開(kāi)始

為什么建議大家從小模型開(kāi)始，特別是一些開(kāi)源小模型？

之所以建議大家剛開(kāi)始以小模型為主，原因就是因?yàn)閺募夹g(shù)原理來(lái)說(shuō)，大模型和小模型沒(méi)有本質(zhì)上的區(qū)別；只不過(guò)大模型和小模型由于量變導(dǎo)致的質(zhì)變，大模型的復(fù)雜度與小模型不能同日而語(yǔ)。

而從學(xué)習(xí)和使用的角度來(lái)說(shuō)，大模型和小模型最大的差距就是對(duì)算力的需求；雖然從效果上來(lái)說(shuō)，小模型遠(yuǎn)不如大模型，但學(xué)習(xí)和使用小模型能夠讓我們快速地摸清大模型技術(shù)的脈絡(luò)和主要框架。

最重要的是小模型有很強(qiáng)的實(shí)操性，因?yàn)槠渌懔Τ杀镜停踔量梢栽趥€(gè)人電腦上進(jìn)行部署和運(yùn)維，而且使用個(gè)人電腦也可以對(duì)它們進(jìn)行訓(xùn)練和微調(diào)，這樣就大大降低了我們的學(xué)習(xí)難度。

以個(gè)人的經(jīng)歷來(lái)說(shuō)，在剛開(kāi)始學(xué)習(xí)大模型技術(shù)的時(shí)候，也是和很多人一樣，要學(xué)就學(xué)技術(shù)最牛逼的；但等真的把大模型技術(shù)應(yīng)用到工作之后才發(fā)現(xiàn)，原來(lái)大模型技術(shù)也沒(méi)有想象中的那么復(fù)雜，但也沒(méi)有想象中的那么簡(jiǎn)單。

在之前，一直以為訓(xùn)練和微調(diào)一個(gè)大模型，至少也要幾千萬(wàn)條數(shù)據(jù)；但在工作中使用到的一些小模型，只需要幾百，甚至幾十條數(shù)據(jù)就可以完成微調(diào)任務(wù)，而且效果還不錯(cuò)。

當(dāng)然，這里并不是說(shuō)自己有多厲害，而是這些開(kāi)源模型的作者很厲害；經(jīng)過(guò)它們精心微調(diào)過(guò)的模型，只需要經(jīng)過(guò)簡(jiǎn)單的調(diào)整就可以適配到相似的業(yè)務(wù)體系中。

而如果繼續(xù)用大模型的思路，去訓(xùn)練和微調(diào)一個(gè)大模型，說(shuō)句實(shí)話有幾個(gè)企業(yè)能夠支撐的了你的需求？

不說(shuō)大模型數(shù)據(jù)訓(xùn)練和微調(diào)所需要的資金，算力等問(wèn)題，就大模型訓(xùn)練所需要的訓(xùn)練和微調(diào)數(shù)據(jù)的收集，就已經(jīng)是一個(gè)很大的工程量了。

不知道大家有沒(méi)有在抖音上看到過(guò)一個(gè)用四個(gè)月時(shí)間訓(xùn)練模型打蚊子的哥們，雖然并不知道他訓(xùn)練模型用了多大的數(shù)據(jù)量，但從他手動(dòng)標(biāo)注數(shù)據(jù)的情況下，他的數(shù)據(jù)量應(yīng)該不是很大，而且他的操作好像都是在個(gè)人主機(jī)上完成的。

所以，訓(xùn)練和微調(diào)一個(gè)大模型很難，而且因?yàn)樗懔唾Y金的限制導(dǎo)致很多人無(wú)法進(jìn)行真正的實(shí)操大模型；因此小模型是一個(gè)不錯(cuò)的選擇，可以根據(jù)自己的喜好和需求，訓(xùn)練一個(gè)能夠滿足我們?nèi)粘９ぷ骱蜕畹男∧Ｐ推鋵?shí)也是一個(gè)挺不錯(cuò)的選擇。

最重要的是只要我們發(fā)揮想象力，那它真的很好玩。

最近，因?yàn)楣ぷ髟驅(qū)е卤容^忙，等后續(xù)有空閑時(shí)間，也準(zhǔn)備自己訓(xùn)練和微調(diào)一個(gè)小模型來(lái)完成自己的喜好。到時(shí)候會(huì)全程分享需求，模型選擇和訓(xùn)練的過(guò)程。

最重要的是，大模型技術(shù)的理論看了一大堆，可能很多地方依然不明不白，或者就是覺(jué)得自己都看懂了，實(shí)際上卻什么都不懂；這時(shí)通過(guò)自己訓(xùn)練和微調(diào)模型，就能加深自己對(duì)大模型技術(shù)的體會(huì)與理解。

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/B16l-xnxXZUkBrG8Q3QojQ???