家人們，GPT-4的參數可能還真不止1萬億！

近來，美國知名駭客George Hotz在接受采訪時透露，GPT-4由8個220B模型組成。

這么算來，8 x 220B = 1.76萬億。

就連PyTorch的創建者Soumith Chintala對此也深信不疑。

GPT-4：8 x 220B專家模型用不同的數據/任務分布和16-iter推理進行訓練。

如果真是這樣的話，GPT-4的訓練可能更加有效。

1.76萬億「八頭蛇」？

在GPT-4還未放出之前，GPT-3有1750億個參數，一眾網友猜測GPT-4豈不是要逆天，最起碼1萬億。

而George在接受Latent Space的采訪時，對GPT4架構的描述著實讓人震驚。

他的部分原話如下：

GPT-4每個head都有2200億參數，是一個8路的混合模型。所以，混合模型是當你想不出辦法的時候才會做的。OpenAI訓練了相同模型8次，他們有一些小技巧。他們實際上進行了16次推斷。

他特別強調，OpenAI做了8個混合專家模型，任何人可以花8倍資金都能訓練出來。

也就是說，人們能夠訓練更小模型更長時間，微調后，就能找到這些技巧。

OpenAI曾經發表類似關于讓計算量不變的情況下，讓訓練更好的算法，比較像BatchNorm和NoBatchNorm。

網友熱評

就像George所說，這是8個較小的模型，如果有足夠資金訓練8個混合模型，這是一個微不足道的解決方案。

所以，GPT-4是GPT-3的10倍，而1月份的所有小圈圈大圈圈的meme實際上是......真的？！

網友得知秘訣后，打算自己也要訓練一個LLaMA集合體與GPT-4競爭。

還有網友稱，這有點像LLM-Blender。

我早就聽到了稍微可信的傳言，說GPT-4將是MoE，但從未得到證實。MoE和大約1萬億個參數不會讓我感到驚訝，這聽起來極為合理。

還有網友進行深度分析：

老實說，我預計這將是人工智能架構的下一階段。我們已經看到特定任務模型在任務中的表現比一般模型好得多。

因此，將許多特定任務模型組合在一起將是下一個合乎邏輯的步驟。這幾乎使升級系統變得容易得多，一次只能處理一個模型。

話雖如此，OpenAI以一種未來可能會，也可能不會的方式做到了這一點。顯然，組合系統可能會有更多的小模型，而不是幾個更大的模型。

如果這是真的，這是否意味著每個220B模型也有32K的上下文長度？

網友下了功夫，給它命名為「九頭蛇」。