本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

一直以來，很多大模型都由造它們出來的大型私營科技公司壟斷著。

比如GPT-3等，對于普通人來說，再香也只能眼巴巴看著。

不過現在，為了給你解饞，由近1000名科學家聯合發起的一個志愿項目，耗時一年多煉出了一個號稱和GPT-3一樣強大的語言模型。

它的名字叫BLOOM，參數1760億，不光支持英文或者中文，連西班牙語、法語等59種語言都支持，是目前最大的多語言開源語言模型。

是的，從現在起，從代碼到數據集，BLOOM全部對外開放，所有人都可使用。

動用法國超算、花費384塊A100

BLOOM是一個BigScience項目，去年5月啟動，由Hugging Face主導，收到了700萬美元的公共捐款。

共有來自全球60個國家、超過250個機構，以及超過1000名研究人員參與其中，其中包括以個人名義參加的Meta、谷歌等大廠員工。

它的訓練在法國超級計算機Jean Zay上進行，共花費了384塊A100 GPU，其中每塊有80 GB內存，訓練吞吐量約150 TFLOP（該超算由低碳的核能提供動力，釋放的熱量還用來給學校供暖）。

相關推特賬號從3月14日起，每天記錄BLOOM的進度。

隨著進度條漸漸拉滿，每天去點贊的人數也越來越多。

不過，到了102%它才正式停下——

7月2號，耗時117天的BLOOM宣告完成，恰好在預期計劃時間內。

最終，BLOOM：

• 擁有1760億參數，比GPT-3還多10億
• 包含70層，每層112個注意力頭
• token序列長度為2048
• 采用GeLU激活函數
• 數據集共計3416億條token（1.5TB文本數據）
• 支持13種編程語言、46種語言

其中，對于很多語言來說，比如法語、西班牙語和阿拉伯語等，都是首次有了自己的開源模型（有網友發現日語目前還不支持）。

此外，為了讓BLOOM最后的生成結果盡可能地減少偏見，參與人員還費了不少功夫抓取到的數據還進行了一遍人工過濾。

目前，BLOOM的訓練對硬件也還是有一些要求：

為了保證效果，最好是準備8塊80GB或者16塊40GB的的A100。

這導致只有稍微大點的團隊才能用。

當然也可以選擇在云上訓練，最高每小時40美元。

最后，BLOOM表示還會降低使用門檻，并準備開發一個分布式系統，允許實驗室在其服務器之間共享模型。

它聲稱自己將會成為一個模型家族，不會一勞永逸。

Hugging Face地址：https://huggingface.co/bigscience/bloom