國產大模型，再次迎來新玩家！

XVERSE-13B，開源即免費商用。

來自前騰訊副總裁、騰訊AI lab創始人姚星創立的明星獨角獸元象，公司成立一年即完成1.2億美元融資。

此次開源的大模型，它支持40多種語言、8192上下文長度。在多項中英文測評中，性能超過了同尺寸（130億參數）的LIama2、Baichuan等。

目前，哈爾濱工業大學已經率先用上。

國產百億大模型免費商用

據介紹，XVERSE-13B大模型主要有這幾個方面的特點。

模型架構方面，它是基于標準Transformer架構（Decoder-only），支持8K上下文長度，據稱這也是目前同尺寸標準模型中最長。這樣一來，可滿足更多輪對話，減少遺忘現象，以及輸入更多內容完成復雜任務。

訓練數據上，構建了1.4萬億tokens的數據集，包含中、英、俄、西等40多種語言。

而為了充分利用訓練數據，他們在分詞策略上，基于BPE（Byte-Pair Encoding）算法，使用上百 GB 語料訓練了一個詞表大小為 100,278 的分詞器。

這樣一來，能夠同時支持多語言，而無需額外擴展詞表。

此外，還在訓練框架上進行了算子、通信、并行策略及調度等方面的優化，包括高效算子、顯存優化、并行調度策略、數據-計算-通信重疊、平臺和框架協同等自研技術，使得千卡集群上的峰值算力利用率達到 58.5%，據介紹位居業界前列。

作為通用大模型，它支持文本生成、自動化寫作、數據分析、知識問答、多語言翻譯、個性化交互、人物角色扮演、專業小助手等功能。

具體到各項能力測評上，他們選取了 MMLU（英文）、 C-Eval（中文）、AGIEval（中英） 、GAOKAO-Bench（中英）、GAOKAO-English（英文）等在內的評測集。

比如在MMLU測評中，其綜合評分達到55.1分，在多個維度超過了同參數規模的主流模型。

（MMLU 由加州大學伯克利分校等高校共同打造，集合了科學、工程、數學、人文、社會科學等領域的 57 個科目，主要目標是對模型的英文跨學科專業能力進行深入測評。其內容涵蓋從初級水平到高級專業水平）

還有在C-Eval、AGIEval和GAOKAO-Bench等中文測評中，分別以54.7、41.4以及53.9分超越了其他模型。

目前，XVERSE-13B代碼采用 Apache-2.0 協議，向學術研究完全開源，企業只需簡單登記，即可免費商用。

哈工大已經率先使用大模型推進相關研究工作。哈工大計算機科學與技術學院張偉男教授表示：

開源是互聯網時代主流模式，不僅能貢獻社區，推動技術持續創新，還能利用協同解決算法透明性、穩定性、公眾信任度等共性問題。

來自元象XVERSE團隊

隨著XVERSE-13B的發布，國產大模型迎來了新玩家：

元象XVERSE，2021年3月成立，專注于AI與元宇宙技術服務。

創始團隊來自騰訊游戲、Adobe、微軟、IBM、麥肯錫等公司。創始人是前騰訊副總裁姚星，他曾親手創立了騰訊AI lab以及機器人實驗室Robotics X，并兼管騰訊技術工程事業群（TEG）多個技術部門。

他也是騰訊在受AlphaGo震動決定戰略布局AI時的一號位負責人，代表騰訊全球挖人組隊，也代表騰訊喊出了口號：AI in All。在此期間曾主導推出了絕藝、絕悟、云深智藥等行業代表性產品和應用，張潼張正友都曾向他匯報。

2022年3月，元象完成A與A+輪融資1.2億美元，投資機構包括騰訊、高榕資本、五源資本、高瓴創投、紅杉中國、淡馬錫和CPE源峰等。

在3D和AI技術領域，已自主研發出行業領先的“端云協同” 3D互動技術，主打零門檻、一站式、高品質的元宇宙體驗。

目前客戶包括澳門大三巴、騰訊音樂、央視、一汽大眾、阿迪達斯、郵儲銀行等企業。

GitHub鏈接：
https://github.com/xverse-ai/XVERSE-13B
參考鏈接：
https://huggingface.co/xverse/XVERSE-13B