微軟OpenAI決裂/Stability AI倒閉,新架構(gòu)終結(jié)Transformer?福布斯2024年AI十大終極預(yù)測(cè)
展望2024,AI領(lǐng)域會(huì)有哪些發(fā)展和變化?
據(jù)說Stability AI將會(huì)倒閉?而「情同父子」的微軟和OpenAI將會(huì)出現(xiàn)裂痕?
還有新的職位——Chief AI Officer即將出現(xiàn)?
另外,2024會(huì)不會(huì)出現(xiàn)足以取代Transformer的新架構(gòu)呢?
最近,福布斯發(fā)布了2024年的10大AI預(yù)測(cè)。
英偉達(dá)將成為云服務(wù)商
雖然全球都在進(jìn)行爭(zhēng)奪GPU的戰(zhàn)爭(zhēng),但大多數(shù)組織并不會(huì)直接向英偉達(dá)購(gòu)買GPU,而是會(huì)選擇云服務(wù)。
他們通過亞馬遜、微軟或者谷歌的云平臺(tái)訪問GPU,而這些大型云服務(wù)廠商又從英偉達(dá)批量購(gòu)買芯片。
但這個(gè)關(guān)系將會(huì)變得復(fù)雜,因?yàn)樗腥硕颊J(rèn)識(shí)到了GPU的價(jià)值,所有的云供應(yīng)商都在大力開發(fā)自己的AI芯片。
這也意味著亞馬遜、微軟和谷歌等,將從英偉達(dá)最大的客戶轉(zhuǎn)變?yōu)楦?jìng)爭(zhēng)對(duì)手。
相應(yīng)的,英偉達(dá)也將朝著相反的方向發(fā)展:開始提供自己的云服務(wù),運(yùn)營(yíng)自己的數(shù)據(jù)中心,以減少對(duì)云公司分銷的依賴。
今年早些時(shí)候,英偉達(dá)推出了名為DGX Cloud的新云服務(wù)。而在2024.我們將會(huì)看到更多類似的舉措。
Stability AI將會(huì)倒閉
作為曾經(jīng)高歌猛進(jìn)的初創(chuàng)公司,Stability AI幾乎已經(jīng)成為了緩慢移動(dòng)的火車殘骸。
首先是人才的流失:最近幾個(gè)月離職的包括首席運(yùn)營(yíng)官、首席人事官、工程副總裁、產(chǎn)品副總裁、應(yīng)用機(jī)器學(xué)習(xí)副總裁、通信副總裁、研究主管、音頻主管和總法律顧問。
其次,去年領(lǐng)導(dǎo)Stability AI 1億美元融資的兩家公司Coatue和Lightspeed,最近幾個(gè)月都因與Stability AI首席執(zhí)行官Emad Mostaque發(fā)生糾紛,而退出了公司董事會(huì)。
今年早些時(shí)候,Stability AI試圖以40億美元的估值籌集額外資金,但失敗了。
雖然最近獲得了英特爾投資的5000萬美元,但 Stability 的燒錢率是出了名的高。據(jù)報(bào)道,在10月份英特爾投資時(shí),Stability AI每月花費(fèi)800萬美元(同時(shí)收入很少)。按照這個(gè)速度,這5000萬美元也撐不了多久。
據(jù)報(bào)道,在投資者的壓力下,Stability AI已開始尋找收購(gòu)者。
LLM這個(gè)詞將會(huì)越來越少見
目前的生成式AI大模型基本都是純文本模型,所以大語言模型(LLM)用來指代幾乎所有的高級(jí)人工智能模型。
但隨著人工智能模型類型的激增,以及人工智能變得越來越多模態(tài),這個(gè)術(shù)語將變得越來越不精確。
多模態(tài)人工智能的出現(xiàn)是2023年人工智能的決定性主題之一。當(dāng)今許多領(lǐng)先的生成式AI模型都包含文本、圖像、3D、音頻、視頻、音樂、物理動(dòng)作等。它們不僅僅是語言模型。
比如在機(jī)器人技術(shù)中使用的基礎(chǔ)模型:將視覺和語言輸入與一般互聯(lián)網(wǎng)規(guī)模的知識(shí)相結(jié)合,以便在現(xiàn)實(shí)世界中采取行動(dòng)(控制機(jī)械臂)。
對(duì)于此類模型,應(yīng)該使用比「語言模型」更豐富的術(shù)語來形容,比如「視覺-語言-行動(dòng)」(VLA)模型。
DeepMind最近發(fā)布的FunSearch模型也類似,雖然作者自己將其稱為L(zhǎng)LM,但它處理的是數(shù)學(xué)而不是自然語言。
2024年,隨著模型變得越來越多維,我們用來描述它們的術(shù)語也將變得越來越多維。
閉源模型將繼續(xù)保持領(lǐng)先
開源閉源之爭(zhēng),是當(dāng)今AI領(lǐng)域的一個(gè)重要話題。
OpenAI、Google DeepMind、Anthropic、Cohere等選擇了閉源,而Meta和最近的新秀Mistral等少數(shù)公司選擇了開源。
如今,表現(xiàn)最好的基礎(chǔ)模型是閉源的(比如GPT-4)。但許多開源倡導(dǎo)者認(rèn)為,封閉模型和開放模型之間的性能差距正在縮小,開放模型有望在性能上超過封閉模型,比如下圖中的預(yù)測(cè):
圖片
但福布斯的預(yù)測(cè)認(rèn)為,在2024年及以后,對(duì)比表現(xiàn)最好的模型,閉源模型將繼續(xù)優(yōu)于開源。
基礎(chǔ)模型性能的發(fā)展是非常迅速的。盡管Mistral表示,自己將在2024年的某個(gè)時(shí)候開源一個(gè)GPT-4級(jí)別的模型,但相比于2023年初發(fā)布的GPT-4,已經(jīng)落后了一年多。
而在2024年,我們也許能看到GPT-4.5甚至GPT-5。
開發(fā)一種先進(jìn)的新模型所需的投資是巨大的,并且會(huì)隨著模型能力的每一次階躍式增長(zhǎng)而繼續(xù)膨脹。據(jù)估計(jì),OpenAI將花費(fèi)約20億美元來開發(fā)GPT-5。
相比之下,Llama 2的建造成本約為2000萬美元,考慮到戰(zhàn)略利益,即使沒有任何相關(guān)的收入增長(zhǎng),這種投資水平對(duì)于Meta來說也是合理的。
但Meta作為一家上市公司,最終要對(duì)股東負(fù)責(zé)。它真的會(huì)投入近20億美元來構(gòu)建一個(gè)性能最優(yōu)的AI模型,然后只是為了開源,而不期望獲得具體的投資回報(bào)嗎?
也許,隨著像Mistral這樣的公司,投入越來越多的資金來構(gòu)建更強(qiáng)大的AI模型,他們最終可能會(huì)放松對(duì)開源的立場(chǎng),并保留自己最先進(jìn)的模型用來盈利。
Chief AI Officer
今年,人工智能已成為財(cái)富500強(qiáng)公司的優(yōu)先事項(xiàng),各行各業(yè)的董事會(huì)和管理團(tuán)隊(duì),都想盡快弄清楚AI對(duì)于自己的業(yè)務(wù)有什么影響。
所以福布斯預(yù)計(jì),明年的大型企業(yè)將任命一名「首席人工智能官」(Chief AI Officer)來領(lǐng)導(dǎo)公司的人工智能計(jì)劃。
十年前,在云計(jì)算興起之時(shí),許多組織聘請(qǐng)了「首席云官」來幫助他們了解云的戰(zhàn)略意義。
任命Chief AI Officer(小編不知道這個(gè)怎么縮寫)將成為一種流行趨勢(shì),用來表明公司對(duì)待人工智能的態(tài)度。
至于從長(zhǎng)遠(yuǎn)來看,這個(gè)Chief AI Officer到底有多大作用,那就是另外的問題了
替代Transformer的全新架構(gòu)
谷歌在2017年提出的Transformer主導(dǎo)了當(dāng)今的AI大模型,ChatGPT、Midjourney、GitHub Copilot等都是基于Transformer構(gòu)建的。
但是,沒有任何技術(shù)可以永遠(yuǎn)占據(jù)主導(dǎo)地位。
研究人員一直在努力開發(fā)下一代人工智能架構(gòu),比如斯坦福大學(xué)實(shí)驗(yàn)室提出的新架構(gòu)。相比于Transformer,新架構(gòu)的計(jì)算密集度更低,并且能夠更好地處理長(zhǎng)序列。
迄今為止最有前途的架構(gòu)是Mamba。上個(gè)月,介紹Mamba的文章在AI研究界引起了巨大的轟動(dòng),甚至有人稱它為「Transformer的終結(jié)」。
圖片
另外,麻省理工學(xué)院開發(fā)的液體神經(jīng)網(wǎng)絡(luò)(liquid neural networks)等新架構(gòu)也對(duì)Transformer提出了挑戰(zhàn)。
明年,也許會(huì)有挑戰(zhàn)者真正脫穎而出,并被應(yīng)用到生產(chǎn)中。
對(duì)于投資的監(jiān)管
今年,一波資金從大型科技公司流向人工智能初創(chuàng)公司。
微軟在1月份向OpenAI 投資了100億美元,然后在6月份領(lǐng)投了Inflection的13億美元融資。
今年秋天,亞馬遜宣布將向Anthropic投資40億美元。Alphabet也不甘示弱,幾周后宣布將向Anthropic投資20億美元。
與此同時(shí),英偉達(dá)向數(shù)十家使用其GPU的人工智能初創(chuàng)公司投入資金,包括Cohere、Inflection、Hugging Face、Mistral、CoreWeave、Inceptive、AI21 Labs和Imbue。
此類投資可能涉及會(huì)計(jì)規(guī)則中的一個(gè)灰色地帶。
假設(shè)一家云供應(yīng)商向一家人工智能初創(chuàng)企業(yè)投資1億美元,并保證該初創(chuàng)企業(yè)會(huì)將這1億美元用于云供應(yīng)商的服務(wù)。從概念上講,這對(duì)云供應(yīng)商來說并不是真正的正常收入,實(shí)際上,供應(yīng)商是在利用投資將自己資產(chǎn)負(fù)債表上的現(xiàn)金人為地轉(zhuǎn)化為收入。
這種交易通常被稱為「往返」(round-tripping),因?yàn)殄X出去了又回來了。
到目前為止,這種交易幾乎沒有受到監(jiān)管審查,但在2024年就不一定了。
微軟OpenAI或?qū)ⅰ笡Q裂」
迄今為止,微軟已向OpenAI投入了超過100億美元,兩家正值蜜月。
OpenAI的模型為微軟的關(guān)鍵產(chǎn)品提供支持,比如Bing,GitHub Copilot和Office 365 Copilot。
然而,微軟和OpenAI是截然不同的組織,有著不同的愿景。
隨著OpenAI尋求積極擴(kuò)大其企業(yè)業(yè)務(wù),它將越來越頻繁地與微軟直接競(jìng)爭(zhēng)客戶。而微軟也在實(shí)現(xiàn)多元化,成為頂尖AI模型的供應(yīng)商。
微軟最近宣布與OpenAI競(jìng)爭(zhēng)對(duì)手Cohere合作;面對(duì)大規(guī)模運(yùn)行OpenAI模型的高昂成本,微軟還投資研究了Phi-2等較小的語言模型。
從更大的角度來看,隨著人工智能變得越來越強(qiáng)大,有關(guān)人工智能安全、風(fēng)險(xiǎn)、監(jiān)管和公共問責(zé)制的重要問題將成為焦點(diǎn)。
鑒于不同的文化、價(jià)值觀和歷史,這兩個(gè)組織在處理這些問題的理念和方法上將不可避免地會(huì)出現(xiàn)分歧。
人工智能炒作轉(zhuǎn)向其他方向
雖然風(fēng)險(xiǎn)投資家和技術(shù)領(lǐng)導(dǎo)者都被AI深深吸引,但一年是很長(zhǎng)的時(shí)間,風(fēng)險(xiǎn)投資人的「信念」可以非常迅速地改變。
人工智能與版權(quán)
如今,整個(gè)生成式人工智能領(lǐng)域都面臨著一個(gè)重大且被低估的法律風(fēng)險(xiǎn):大語言模型已經(jīng)在大量受版權(quán)保護(hù)的內(nèi)容上進(jìn)行了訓(xùn)練。
無論是來自GPT-4或Claude 2的詩(shī)歌,來自DALL-E 3或Midjourney的圖像,還是來自Pika或Runway的視頻,生成式AI模型都能夠產(chǎn)生令人嘆為觀止的復(fù)雜輸出,因?yàn)樗鼈兘?jīng)過了大量數(shù)據(jù)的訓(xùn)練。
在大多數(shù)情況下,人工智能公司免費(fèi)從互聯(lián)網(wǎng)上獲取這些數(shù)據(jù),并隨意使用來開發(fā)他們的模型。
但是,這些數(shù)據(jù)的原作者們對(duì)此有發(fā)言權(quán)嗎?他們是否有權(quán)從中獲得一部分收益?
這些問題的答案取決于法院對(duì)「合理使用」(Fair use)這一關(guān)鍵法律概念的解釋。
將合理使用原則應(yīng)用于生成式人工智能將是一項(xiàng)復(fù)雜的工作,但大量的訴訟已經(jīng)到來。
參考資料:
https://www.forbes.com/sites/robtoews/2023/12/21/10-ai-predictions-for-2024/?sh=7295b6f54898