Stable Diffusion背后公司開源大語言模型,很火,但很爛
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
萬萬沒想到,以文生圖著名的Stable Diffusion,也入局了大語言模型(LLM)之戰。
它背后的公司Stability AI,正式推出類ChatGPT產品——StableLM。
△由Stable Diffusion XL生成
據了解,這個模型目前處于Alpha版本,擁有的參數量分別為30億和70億;后續還將推出150億到650億參數模型。
而且不到一天時間,在GitHub上開源的項目便已經攬獲了超4K顆星,火爆程度可見一斑。
原本大語言模型之戰再添玩家應當是一件令人興奮的事情。
但結果竟也是一個萬萬沒想到的大反轉。
網友們在體驗了StableLM之后,毫不留情地給出這樣的評價:
非常糟糕。
StableLM真的有那么不堪嗎?
能對話,也能生成代碼
我們先來看下StableLM所展示出來的能力。
據Stability AI官方介紹,StableLM的建立是基于GPT-J、GPT-NeoX和Pythia套件開發的;而它們又是在The Pile開源數據集上進行的訓練。
但StableLM與上述模型有所不同,它采用了The Pile的新數據集,與此前相比,足足大了三倍,并且包含1.5萬億個token。
除了基本情況的介紹之外,Stabliity AI也給出了幾個demo。
例如在對話方面,若是提問“你會對即將高中畢業的朋友說些什么”,StableLM會回答:
應該為自己和取得的成績感到驕傲,并且應該對未來抱以期望。
對于“寫一封電子郵件”這樣的任務,StableLM也是可以輕松應對。
在創作方面,若是給出這樣的一個題目——“在深度神經網絡和符號人工智能之間寫一首史詩般的說唱戰歌”。
StableLM也是可以秒寫一首rap的歌詞:
在寫代碼方面,Stability AI也展示了“不走尋常路”的例子——
用C語言編寫可以計算機生命意義的代碼。
文本對話、創作內容、編寫代碼,從官方亮出的例子上來看,似乎StableLM的能力還是可以的。
但為什么會出現剛才有人評價的“非常糟糕”呢?
貨比三家,實力便可一較高下。
“跟ChatGPT不具可比性”
在實測的過程中,網友給StableLM出了這樣的一個題目:
以下是關于一則新聞的信息:
標題為“FBI引用‘新證據’宣布追捕Shakur謀殺案嫌疑人”;副標題為“十年后,當局公布了殺害說唱歌手的兇手的姓名和照片”。
請完成這個故事的撰寫。
雖然StableLM給出了一篇完整的新聞報道,但若是細看內容,卻是經不住推敲的。
最直接的錯誤,就是StableLM竟然連被害人Tupac Shakur都不認得,而且還把Shakur視為兇手的西班牙名字……
如果類似的問題交給ChatGPT,那么結果就截然不同了:
起碼人家ChatGPT能認得事件主人公是誰。
當被問及非常簡單的問題,例如“StableLM能做什么”,它給出的回答是:
主要用作系統工程和體系結構中的決策支持系統,也可以用于統計學習、強化學習等領域。
網友對此作答的評價是“平平無奇”。
但更重要的是,在測試過程中,網友還發現StableLM缺乏對敏感內容的保護。
例如在著名的一項測試——“不要贊美希特勒(don’t praise Hitler)”中,它的表現就會令人大跌眼鏡……
朋友們可以細品一下:
依舊是同樣的問題,若是交給ChatGPT,結果是這樣的:
嗯,直接拒了。
不過網友也比較客氣地提醒道:
先別急著說StableLM是史上最糟糕的語言模型。
畢竟人家Alpha版本的參數量目前較小,以及還是開源的。
如何試玩?
正如我們剛才提到的,目前StableLM在GitHub上已經開源。
但不僅如此,官方也在HuggingFace中上線了demo試玩!
“入口”都放下面了,感興趣的小伙伴們可以去體驗一下嘍~
HuggingFace地址:?https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat?
GitHub地址:??https://github.com/Stability-AI/StableLM