23年是當(dāng)之無愧的「生成式AI之年」。

24年，AI技術(shù)會有哪些突破？

英偉達高級科學(xué)家Jim Fan稱，2024年將是視頻年。盡管機器人和具身智能體才剛剛起步，但我認(rèn)為視頻AI將在未來12個月內(nèi)迎來突破性進展的時刻。

OpenAI聯(lián)創(chuàng)Greg Brockman則預(yù)測：2024年，AI的能力、安全性、潛在影響的積極性上，都會是突破性的一年。

當(dāng)然，從更長遠的角度看，這只是又一個指數(shù)級的一年，讓每個人的生活都比今天更好。

新的一年，人工智能還會像2023年一樣，大放異彩嗎？

AI大佬2024預(yù)測

Meta的研究員Martin Signoux對2024年AI做出了8大預(yù)測，就連LeCun大佬表示深度贊同。

首先，人工智能智能眼鏡蔚然成風(fēng)。隨著多模態(tài)技術(shù)的興起，領(lǐng)先的人工智能公司將加倍努力開發(fā)人工智能可穿戴設(shè)備。還有什么比眼鏡外形更適合承載人工智能助手呢？

ChatGPT之于人工智能助手，就像谷歌之于搜索一樣。2023年，ChatGPT開始大放異彩，Bard、Claude、Llama、Mistral和數(shù)以千計的衍生產(chǎn)品相繼問世。

隨著產(chǎn)品化的繼續(xù)推進，ChatGPT將不再是這個領(lǐng)域的唯一參考標(biāo)準(zhǔn)，其估值也將面臨修正。

大模型模型再見，多模態(tài)模型你好。LMM將不斷涌現(xiàn)，并在多模態(tài)評估、多模態(tài)安全、多模態(tài)這個、多模態(tài)那個的爭論中取代LLM。此外，LMM是邁向真正通用人工智能助手的墊腳石。

沒有重大突破，但各方面都有改進。新模型不會帶來真正的突破（GPT-5)，LLM在本質(zhì)上仍然有限，而且容易產(chǎn)生幻覺。我們不會看到任何飛躍，使它們在2024年可靠到足以「解決基本的AGI」。

在RAG、數(shù)據(jù)整理、更好的微調(diào)、量化等方面的改進，將使LLM在許多用例中變得足夠強大/有用，從而推動各行業(yè)各種服務(wù)的采用。

小模型（SLM）已經(jīng)出現(xiàn)，但成本效益和可持續(xù)發(fā)展的考慮將加速這一趨勢。量化技術(shù)也將大大提高，從而推動消費服務(wù)的設(shè)備集成浪潮。

開源模型擊敗GPT-4，開源與封閉之爭逐漸平息。回顧過去12個月開源社區(qū)的活力和進步，很明顯，開源模型將很快縮小性能差距。

基準(zhǔn)仍然是一個難題。沒有一套基準(zhǔn)、排行榜或評估工具能夠成為模型評估的一站式服務(wù)。相反，我們將看到一系列改進（如HELM）和新舉措（如GAIA），尤其是在多模態(tài)方面。

與現(xiàn)有風(fēng)險相比，存在的風(fēng)險不會引起太多討論。雖然X風(fēng)險成為2023年的頭條新聞，但公眾討論將更多地關(guān)注與偏見、假新聞、用戶安全、選舉誠信等相關(guān)的現(xiàn)有風(fēng)險和爭議。

Lightning AI的創(chuàng)始人William Falcon對2024年的預(yù)測是：

- 1B模型性能將優(yōu)于70B。

- 在CPU上部署模型幾乎是免費的，而不是API服務(wù)。

- 數(shù)據(jù)質(zhì)量將使性能提升10倍。

- 開源模型的組合將擊敗最好的私有模型。

- 編譯器將使模型（訓(xùn)練和推理）的速度至少提高80%。

- 立法將支持內(nèi)容創(chuàng)建者，而非模型開發(fā)者。

開源工具平臺LlamaIndex的創(chuàng)始人Jerry Liu表示，

- RAG將繼續(xù)成為一個大焦點

- 每個AI工程師仍然需要強大的軟件工程基礎(chǔ)。

- 向量數(shù)據(jù)庫開始開發(fā)類SQL接口并支持多模態(tài)

- 多模態(tài)模型在文檔處理中得到更多使用（但首先，計算成本/延遲需要降低）

- 類似GPT-4的全部能力成為開源，并且更快/更便宜。

- 如果是這種情況，智能體的開發(fā)會重新蓬勃發(fā)展。

- 提示和以前一樣重要，但提示工程的重要性會下降

2023年，ChatGPT訪問量全球居首

過去一年里，AI無處不在，甚至重新定義了整個行業(yè)。

在線內(nèi)容寫作公司W(wǎng)riterbuddy AI使用SEO行業(yè)著名的工具SEMrush，通過抓取AI工具數(shù)據(jù)，研究了3000+種AI工具。

結(jié)果發(fā)現(xiàn)，從2022年9月-2023年8月，排名前50的AI工具，產(chǎn)生了超過240億次的驚人訪問量，平均每月增長2.363億次。

其中，ChatGPT獨占了140億流量，占分析流量的60%。

以下是報告中的關(guān)鍵發(fā)現(xiàn)：

- AI行業(yè)平均每月增長2.363億次訪問量。分析的50個人工智能工具經(jīng)歷了10.7倍的增長率，平均每月訪問量增加 2.363 億次。

- 過去12個月中，AI應(yīng)用每月平均訪問量達到20億次。過去6個月，每月平均訪問量激增至33億次。

- ChatGPT、Character AI和Google Bard的訪問量分別凈增長了18億次、4.634億次和6800萬次。

- 訪問量最高AI聊天機器人：ChatGPT處于絕對領(lǐng)先地位，占AI聊天機器人類別總訪問量的 76.31%。緊隨其后的是Character AI，以19.86%的訪問量位居第二。

- Craiyon、Midjourney和Quillbot面臨最大的流量下降。

- 美國貢獻了55億人次訪問量，占總訪問量的22.62%，而歐洲國家合計貢獻了39億人次訪問量。

- AI 聊天機器人工具最受歡迎，訪問量達到191億次。

- 超過63%的AI工具用戶通過移動設(shè)備訪問。存在性別差異，69.5%為男性用戶，30.5%為女性用戶

除了風(fēng)靡全球的ChatGPT，23年的這些技術(shù)也很驚艷

23年過去了，這一年的關(guān)鍵詞，無疑就是「生成式AI」。

22年底ChatGPT的推出，以及23年3月發(fā)布的GPT-4，讓全世界見識到了大語言模型的廣泛可用性，讓23年變成了屬于文本、音頻和視頻生成式AI的一年。

除了今年的「寵兒」ChatGPT之外，其他公司的鋒芒也不應(yīng)被忽視，比如放出了第一個開源語言模型的公司，和幾家新的AI初創(chuàng)公司，包括在年底發(fā)布了目前可用的最佳開源語言模型Mixtral 8x7B的Mistral。

除此之外，還有以下這些讓人印象深刻的技術(shù)。

斯坦福小鎮(zhèn)和機器貓

「斯坦福小鎮(zhèn)」，展示了令人印象深刻的文本和編碼任務(wù)的應(yīng)用。

團隊創(chuàng)建了一個受模擬人生啟發(fā)的沙盒環(huán)境，其中的25名AI智能體，每個都有屬于自己的職業(yè)和個性，可以自主互動。

這些智能體表現(xiàn)出了可信的個人和緊急社交行為，包括做計劃、參加情人節(jié)派對。這項工作展示了基于LLM的智能體如何相互交互，并產(chǎn)生了有趣的結(jié)果。

這一想法已被其他研究和開源項目所采用，例如Auto-GPT和BabyAGI，而OpenAI則通過Assistant API，將其大大簡化。

GPT-4等基礎(chǔ)模型，也已用于機器人技術(shù)，取得了一些進展，比如谷歌的機器人RT-2和RoboCat。

RT-2是一種用于機器人控制的AI模型，可以從機器人和網(wǎng)絡(luò)數(shù)據(jù)中學(xué)習(xí)。該模型可以處理文本和圖像輸入，并利用其廣泛的網(wǎng)絡(luò)知識來執(zhí)行尚未經(jīng)過明確訓(xùn)練的任務(wù)。

在6000多次機器人測試中，RT-2在未經(jīng)訓(xùn)練的任務(wù)中的成功率，幾乎是其前身的兩倍。

另一方面，RoboCat是一種AI，可以生成訓(xùn)練數(shù)據(jù)，以改善機器人的控制。

其他公司的技術(shù)，如英偉達的多模態(tài)VIMA模型，也在機器人技術(shù)中使用了基礎(chǔ)模型。

DreamerV3和FunSearch

在強化學(xué)習(xí)領(lǐng)域，研究者們也取得了不少重要成果。

一個例子是DreamerV3，它可以處理完全不同的問題，而無需任何調(diào)整。

在沒有人類模型的情況下，DreamerV3就會學(xué)習(xí)如何在Minecraft中開采鉆石。

今年早些時候，DeepMind還展示了AdA（Adaptive Agent），這是DeepMind的一個基礎(chǔ)強化學(xué)習(xí)模型。

AdA遵循基礎(chǔ)模型的經(jīng)典配方，在具有大量數(shù)據(jù)的任務(wù)上進行了訓(xùn)練。AdA之所以意義重大，是因為它表明了，強化學(xué)習(xí)中的擴展可以使模型在其他任務(wù)上表現(xiàn)更好。

在各個科學(xué)領(lǐng)域，深度學(xué)習(xí)展現(xiàn)出越來越多的作用。

DeepMind開發(fā)了AlphaTensor，一種用于快速矩陣乘法的新算法。

同時，DeepMind最新版本的AlphaFold蛋白質(zhì)結(jié)構(gòu)預(yù)測系統(tǒng)，克服了之前版本的許多弱點，為計算結(jié)構(gòu)預(yù)測開辟了新的可能性。

此外，Google DeepMind還展示了FunSearch，這是首次使用代碼生成語言模型與進化搜索算法相結(jié)合，為數(shù)學(xué)問題找到以前未知的解決方案。

OthelloGPT、Q-Star和AI法案

2023年，也是AI監(jiān)管的一年，和對AI存在主義風(fēng)險發(fā)出警告的一年。

這種趨勢無疑也會刺激業(yè)界研究，好讓人類更好地理解LLM的內(nèi)部工作原理。

這期間有一些有趣的論文，比如OthelloGPT，微軟的GPT-4體現(xiàn)了AGI火花，以及谷歌關(guān)于大模型「頓悟」的論文。

提示工程領(lǐng)域提供了對LLM的見解。

Fran?ois Chollet將提示工程解釋為尋找正確的向量程序和Promptbreeder，這表明，提示在未來可能會變得更加自動化。

在年末，傳起了關(guān)于Q-Star的謠言，伴隨著人們的AI的恐懼、AGI的炒作、以及短短幾天多次反轉(zhuǎn)的OpenAI宮斗鬧劇。

在2024年，或許我們會看到猜測變少，談判變多。

AI訓(xùn)練使用的數(shù)據(jù)，在哪些范疇內(nèi)是合理的？最近紐約時報對OpenAI發(fā)起的訴訟，引起了全社會范圍內(nèi)的廣泛探討。

類似的辯論，也將在歐盟上演，在今年年底前，歐盟各國就《歐盟人工智能法案》達成一致。這一法案的細(xì)節(jié)將在明年決定，并且對歐洲的人工智能市場產(chǎn)生重大影響。

2024 AI展望

在經(jīng)歷了爆炸性的2023年之后，2024年的人工智能領(lǐng)域有將會有哪些進展？

毋庸置疑，在這個新的一年里，我們?nèi)詫⒖吹筋I(lǐng)先的AI在許多新的創(chuàng)造性方式中應(yīng)用，推動整個行業(yè)的進步。

Copilot AI登臺：智能體時代來臨

OpenAI在首屆開發(fā)者大會上發(fā)布的GPTs、Assitants等工具，微軟產(chǎn)品全線更名Copilot等等，智能體在今年迎來了大爆發(fā)。

這些工具已經(jīng)開始在一個又一個行業(yè)產(chǎn)生影響，但我們迄今所看到的與即將到來的相比微不足道。

今年早些時候，來自普林斯頓、谷歌團隊發(fā)表的ReAct論文展示了大模型如何有效地學(xué)習(xí)如何使用工具，并推動了這方面的大量研究。

OpenAI、Anthropic在內(nèi)的公司已經(jīng)花了一年的時間來調(diào)整自家模型，以便更好地使用這種技術(shù)。

比如，OpenAI的函數(shù)調(diào)用，以及Anthropic的Claude XML支持。

項目地址：https://react-lm.github.io/

還有一些研究機構(gòu)專門訓(xùn)練了專門的大模型，比如伯克利的Gorilla LLM。

另外，開源代碼庫Langchain、Rivet等都讓智能體變得容易得多。

看得見，AI智能體比以往任何時候都更容易開發(fā)，成本也更低。它們在發(fā)揮人類聰明才智的同時，還能深入連接對用戶和公司最重要的數(shù)據(jù)。

2024年，我們將看到「智能體時代」的到來，這是通過軟件滿足需求和與技術(shù)互動的一個全新方向的開端。

多模態(tài)大模型突破視覺障礙

ChatGPT能夠理解和表達人類自然語言，這是吸引用戶和開發(fā)者的突破性功能。

但是，2024年將看到AI視覺可能會更加重要，影響更加深遠。

文字固然強大，但圖像、視頻、音頻能以更集中的方式傳遞信息和情感。思想的空間表達是一種非常強大的工具，可以簡單地傳達復(fù)雜的概念。

LLM不僅能對文本數(shù)據(jù)進行訓(xùn)練，還能對視覺數(shù)據(jù)進行訓(xùn)練，多模態(tài)能力更加明顯。

我們已經(jīng)看到，Ai Pin、Apple Vision等可穿戴設(shè)備的發(fā)展，它們有望為我們的日常生活提供幫助。

例如，它們可以提供與交流的人的背景信息、與工作相關(guān)的視覺提示，或完成任務(wù)的實時建議。

創(chuàng)新將走向何方？速度有多快？現(xiàn)在還很難說，但能夠解讀圖像和視頻并對環(huán)境中的物理變化做出即時反應(yīng)，為智能人工智能只能以如何幫助人類增添了一個極其重要的維度。

AI操控達到危險級別

AI爆發(fā)為各個領(lǐng)域帶來翻天，覆地的變化的同時，也讓我們看到AI生成虛假信息給生活帶來了困擾。

在人類歷史上，大規(guī)模影響和操縱AI從未如此強大，也從未如此普及。

人工智能已經(jīng)讓人們幾乎無法辨別「真實」的社交互動與內(nèi)容，因為圖像，甚至視頻都可以很輕而易舉地生成。

未來一年，人工智能操縱可能會大行其道，從自動勒索和欺詐到陰謀論的傳播。

總而言之，2024年，人工智能將給世界帶來許多令人難以置信的東西，但它也將以新的方式挑戰(zhàn)我們。

知友預(yù)測

關(guān)于此話題的暢想，也上了知乎熱榜。

知友「引線小白」預(yù)測，在24年，模型效果會進一步突破，可能只要7B的模型推理資源，就能與現(xiàn)在的GPT-4持平。

隨著部署成本大幅下降，24年可能就會成為AI Agent元年，出現(xiàn)一個爆款。

多模態(tài)進多模態(tài)出一統(tǒng)江湖的模型，有可能出現(xiàn)。

第一部AI電影，也有望在24年出現(xiàn)。

清華自動化系在讀博士認(rèn)為，「多模態(tài)大模型取得進一步突破，圖片和視頻生成能力進一步提升。更多的人力工作，特別是需要部分創(chuàng)造力的工作被取代。部分領(lǐng)域大模型的涌現(xiàn)能力進一步凸顯，表現(xiàn)出一些更加具有創(chuàng)造性的行為。」

AI架構(gòu)師「春陽CYang」預(yù)估，2024年應(yīng)該是AI大模型應(yīng)用落地的元年。

2023一整年，雖然大模型火爆，但真正能夠落地的產(chǎn)品還很少，只集中在改寫文案等淺層的應(yīng)用上。

但現(xiàn)在，有很多大模型領(lǐng)域的創(chuàng)意產(chǎn)品在落地了，可以期待一波。

程序員@小五哥預(yù)測道——

大語言模型將在手機端運算推理；Agent將代替人做一些更實用的事情；最令人開心的是，人形機器人很可能幫我們洗衣、拖地、做飯、收拾房間了！