號稱可以成為 ChatGPT 平替的開源模型 “Dolly”
Databricks 這家軟件公司,在各個領域都有所建樹,尤其是在數據倉庫和基于人工智能的解決方案方面。
最近,隨著 ChatGPT 橫空出世,Meta、谷歌甚至 Mozilla 都開始效仿 ChatGPT。
而現在,Databricks 開源了其 大型語言模型large language model(LLM)“Dolly”,也正在以自己的方式進行嘗試。
我們一起來看看它。
發生了什么? 在最近的公告中,Databricks 介紹了他們號稱 “廉價構建” 的 LLM,使用 EleutherAI 的已經開源的參數 模型 提供功能。
他們在該模型基礎上稍作調整,賦予了 Dolly 指令諸如頭腦風暴和文本生成的能力。
當你拿它與 GPT-3 中的 1750 億個參數 比較時,Dolly 的 60 億個參數 就可能顯得微不足道。
但是,當 Databricks 的人看到即使數據量與 GPT-3 相差這么多,Dolly 也能 展示很多與 ChatGPT 相同的能力 時,他們感到非常震驚。
下面是他們展示的其中一個例子:
a screenshot of how dolly performs in an open question and answer scenario
原始模型使用了 ??Alpaca?? 的數據,該模型由斯坦福大學以 Meta 的 ??LLaMA?? LLM 為基礎建立。
但是,正如你所看到的,原始模型產生了一個非常雜亂無章的結果,而 Dolly,通過不同的模型和調整,能夠產生一個更為可用的答案。
?? 有趣的事實:“多莉Dolly” 名字取自世界上第一只克隆羊。
為什么是現在? 根據 Databricks 的說法,他們認為 **許多公司更愿意建立自己的模型,**而不是將數據發送給某個緊緊掌握模型只對外提供 API 的集中式供應商。
許多公司可能不愿意將他們最敏感的數據交給第三方,然后在模型質量、成本和所需行為方面進行各種權衡。
你想看看嗎?
當然,但有一個問題。
你必須 使用他們的平臺來使用 Dolly,他們已經開源了一個 ??Databricks 筆記本??,可以幫助你在 Databricks 上構建它。
此外,如果你想獲得訓練好的權重,你必須聯系他們。不過我不確定他們是否會免費提供使用權。
總而言之,這種開源其模型的舉動應該對其他公司有好處,可以保護他們的數據、節省運營成本,其他公司也能使用它創建自己的模型。
你可以查看其 ??公告博客??,以了解更多技術細節和其他計劃。