Stability AI 發(fā)布 AI 編程工具:StableCode
Stability AI 剛剛宣布了他們首個用于編程的生成式 LLM AI 產(chǎn)品 ——StableCode。該產(chǎn)品旨在幫助程序員完成日常工作,并為新手開發(fā)者提供實用的學習工具。
官方介紹道,StableCode 提供了一種獨特的方式,通過使用三種不同的模型來幫助開發(fā)者編寫代碼,從而提示開發(fā)效率。基礎模型 (base model) 首先使用來自 BigCode stack-dataset (v1.2) 的多種編程語言進行訓練,然后使用 Python、Go、Java、Javascript、C、markdown 和 C++ 等流行語言進行進一步訓練。總的來說,他們在 HPC 集群上使用 560B token 的代碼訓練了模型。
建立好基礎模型后,Stability AI 針對特定用例調(diào)整指令模型 (instruction model),以幫助解決復雜的編程任務。為了實現(xiàn)這一結果,他們在基礎模型上訓練了約 120,000 個 Alpaca 格式的代碼指令 / 響應對 (instruction/response)。
使用 StableCode Instruct 生成對給定指令的響應的代碼
對于那些想要了解更多編碼知識的開發(fā)者來說,StableCode 是理想的構建塊,而長上下文窗口模型 (long-context window model) 是確保用戶可以使用單行和多行自動完成建議的完美助手。
該模型旨在一次處理更多代碼(比之前發(fā)布的具有 16,000 個 token 的上下文窗口的開放模型多 2-4 倍),允許用戶同時查看或編輯相當于最多 5 個平均大小的 Python 文件。使其成為初學者想要迎接更大挑戰(zhàn)的理想學習工具。
StableCode 利用 Pytorch 深度學習庫完成一個相對復雜的 python 文件(灰色文本為 StableCode 的預測)
最后看看關于 StableCode 的評測數(shù)據(jù):