出品 | 51CTO技術棧（微信號：blog51cto）

在巴黎舉行的初創(chuàng)企業(yè)年度技術大會VivaTech上，Meta AI的首席執(zhí)行官Yann LeCun建議希望在AI生態(tài)系統(tǒng)中工作的學生不要從事LLM（大型語言模型）方面的工作。

“如果你是對構建下一代AI系統(tǒng)感興趣的學生，請不要從事LLM方面的工作。這是大公司的事情，你們無法對此有所貢獻，”LeCun在會議上表示。

他還說，人們應該開發(fā)能夠克服大型語言模型局限性的下一代AI系統(tǒng)。

1.遠離LLM

有趣的是，關于LLM（大型語言模型）替代品的討論已經持續(xù)了一段時間。最近，Devika的年輕創(chuàng)始人Mufeed VH（Devika是Devin的替代品）談到了人們應該如何遠離Transformer模型并開始構建新的架構。

“每個人都在做同樣的事情，但如果我們專注于不同的架構，比如RMKV（一種RNN架構），那將是非常好的，”Mufeed說，他接著解釋了這種特定架構的無限上下文窗口和推理能力。

他還認為，通過這種方法，甚至有可能構建出與GPT-4一樣令人印象深刻的東西。

圖片

2.但是，LLM 仍在不斷進步

盡管LeCun反對一股腦全部研究LLM，但Transformer訓練模型仍在不斷發(fā)展。AI/ML顧問Dan Hou談到了GPT-4o，并強調了其訓練模型。

當文本被認為是所有復雜模型的基礎時，GPT-4o被設計用來原生地理解視頻和音頻。這影響了未來版本可以訓練的數(shù)據(jù)量。

“AI能變得多聰明？有了原生的多模態(tài)架構，我猜測答案是非常、非常好，”Hou說。

此外，Sam Altman在最近的一次采訪中也談到了數(shù)據(jù)將不再是問題，從而解決了訓練LLM的擔憂。可以試想，如果數(shù)據(jù)問題能夠得以解決，LLM的尺度定律將繼續(xù)存在。

本文轉載自??51CTO技術棧??