近日，開(kāi)源了文生圖神器 Stable Diffusion 的 Stability Al 又發(fā)布了新的大模型 ——StableCode，其首個(gè)用于編碼的生成式 AI 大模型。Stability Al 對(duì)它的描述是「革命性的」。

據(jù)介紹，StableCode 旨在幫助程序員處理日常工作，同時(shí)為新手開(kāi)發(fā)者提供了一個(gè)很好的學(xué)習(xí)工具，讓他們的技能更上一層樓。

官博地址：https://stability.ai/blog/stablecode-llm-generative-ai-coding

對(duì)于 StableCode，網(wǎng)友的期許很高，表示真的需要將整個(gè)代碼庫(kù)作為上下文的代碼大模型。

三大版本：基礎(chǔ)、指令、長(zhǎng)上下文窗口模型

StableCode 通過(guò)三個(gè)不同版本的模型來(lái)幫助開(kāi)發(fā)者變得更加高效。其中基礎(chǔ)模型為「StableCode-Completion-Alpha-3B-4K」，它是一個(gè) 30 億參數(shù)的僅使用解碼器的代碼補(bǔ)全模型。

該基礎(chǔ)模型在來(lái)自 BigCode stack 數(shù)據(jù)集的各種編程語(yǔ)言上進(jìn)行了預(yù)訓(xùn)練，并對(duì) Python、Go、Java、Javascript、C、markdown 和 C++ 等流行編程語(yǔ)言進(jìn)行了針對(duì)性訓(xùn)練。總的來(lái)說(shuō)，StableCode 在 HPC 集群上進(jìn)行 5600 億 token 代碼的訓(xùn)練。

這里的 BigCode 是 2022 年 9 月 HuggingFace 與 ServiceNow Research 聯(lián)合發(fā)起的一個(gè)代碼大模型項(xiàng)目，旨在圍繞 AI 代碼生成工具建立一個(gè)開(kāi)放社區(qū)并開(kāi)發(fā)大語(yǔ)言模型代碼。

Huggingface：https://huggingface.co/stabilityai/stablecode-completion-alpha-3b-4k

在基礎(chǔ)模型的基礎(chǔ)上，針對(duì)特定用例進(jìn)行調(diào)整的指令模型「StableCode-Instruct-Alpha-3B」幫助解決復(fù)雜的編程任務(wù)。該模型同樣是 30 億參數(shù)的僅使用解碼器的指令調(diào)整代碼模型，在 stackoverflow 開(kāi)發(fā)者調(diào)查報(bào)告中排名靠前的編程語(yǔ)言上進(jìn)行了預(yù)訓(xùn)練。

同時(shí)在基礎(chǔ)模型上對(duì) Alpaca 格式的約 12 萬(wàn)個(gè)代碼指令 - 響應(yīng)對(duì)進(jìn)行了訓(xùn)練。下圖為使用 StableCode 指令模型為給定指令生成響應(yīng)的代碼示例。

Huggingface 地址：https://huggingface.co/stabilityai/stablecode-instruct-alpha-3b

對(duì)于想要學(xué)習(xí)更多編碼技能的人來(lái)說(shuō)，StableCode 是理想的構(gòu)建塊。長(zhǎng)上下文窗口模型「StableCode-Completion-Alpha-3B」可稱(chēng)得上完美的助手，確保用戶(hù)使用單行和多行自動(dòng)代碼補(bǔ)全建議。

該模型也是 30 億參數(shù)的僅使用解碼器的代碼補(bǔ)全模型，在 2023 年 stackoverflow 開(kāi)發(fā)者調(diào)查報(bào)告中最多使用的編程語(yǔ)言上進(jìn)行了預(yù)訓(xùn)練。

與以往發(fā)布的開(kāi)源模型相比，該模型的上下文窗口達(dá)到了 16000 token（比任何其他模型都大），一次性可以處理的代碼更多，是以往的 2-4 倍。這使得用戶(hù)可以查看或編輯五個(gè)中等大小的 Python 文件，成為新手的理想學(xué)習(xí)工具。

如下圖所示，StableCode 利用 Pytorch 深度學(xué)習(xí)庫(kù)補(bǔ)全了一個(gè)比較復(fù)雜的 Python 文件，其中灰色代碼為 StableCode 的預(yù)測(cè)結(jié)果。

Huggingface 地址：https://huggingface.co/stabilityai/stablecode-completion-alpha-3b

同級(jí)別模型比較結(jié)果

下表為 StableCode 三個(gè)版本模型的基準(zhǔn)分?jǐn)?shù)。

StableCode 還與類(lèi)似參數(shù)量和 token 數(shù)量的同級(jí)別模型（30 億參數(shù)）進(jìn)行比較，其中在流行的 HumanEval 基準(zhǔn)上使用了 pass@1 和 pass@10 指標(biāo)。

從下圖可以看到，在與 replit-coder（AI 編程獨(dú)角獸 Replit 推出）、starcoderbase 的比較中，StableCode 的 pass@1 強(qiáng)于 replit-coder 弱于 starcoderbase、pass@10 強(qiáng)于兩者。

原文鏈接：https://stability.ai/blog/stablecode-llm-generative-ai-coding