整理 ｜ 言征

國產多模態、智能體版本的GPT-4o終于來了！

10月25日，國內大模型獨角獸智譜連發兩個大招，小編當時差點愣住，不愧國產大模型之光！

廢話不多說，直接上干貨。這次智譜推出了一個模型GLM-4-Voice ，一款應用AutoGLM。

圖片

開源地址：https://github.com/THUDM/GLM-4-Voice

GLM-4-Voice 是智譜 AI 推出的端到端語音模型。GLM-4-Voice 能夠直接理解和生成中英文語音，進行實時語音對話，并且能夠遵循用戶的指令要求改變語音的情感、語調、語速、方言等屬性。

圖片

模型架構

GLM-4-Voice 由三個部分組成：

GLM-4-Voice-Tokenizer: 通過在 Whisper 的 Encoder 部分增加 Vector Quantization 并在 ASR 數據上有監督訓練，將連續的語音輸入轉化為離散的 token。每秒音頻平均只需要用 12.5 個離散 token 表示。

GLM-4-Voice-Decoder: 基于 CosyVoice 的 Flow Matching 模型結構訓練的支持流式推理的語音解碼器，將離散化的語音 token 轉化為連續的語音輸出。最少只需要 10 個語音 token 即可開始生成，降低端到端對話延遲。

GLM-4-Voice-9B: 在 GLM-4-9B 的基礎上進行語音模態的預訓練和對齊，從而能夠理解和生成離散化的語音 token。

預訓練方面，為了攻克模型在語音模態下的智商和合成表現力兩個難關，我們將 Speech2Speech 任務解耦合為“根據用戶音頻做出文本回復”和“根據文本回復和用戶語音合成回復語音”兩個任務，并設計兩種預訓練目標，分別基于文本預訓練數據和無監督音頻數據合成語音-文本交錯數據以適配這兩種任務形式。

GLM-4-Voice-9B 在 GLM-4-9B 的基座模型基礎之上，經過了數百萬小時音頻和數千億 token 的音頻文本交錯數據預訓練，擁有很強的音頻理解和建模能力。

GLM-4-Voice 預訓練數據構造

對齊方面，為了支持高質量的語音對話，我們設計了一套流式思考架構：根據用戶語音，GLM-4-Voice 可以流式交替輸出文本和語音兩個模態的內容，其中語音模態以文本作為參照保證回復內容的高質量，并根據用戶的語音指令要求做出相應的聲音變化，在最大程度保留語言模型智商的情況下仍然具有端到端建模的能力，同時具備低延遲性，最低只需要輸出 20 個 token 便可以合成語音。

電腦、手機聽從指令幫你操作AutoGLM 同步上線

在情感語音通話全面開放的同時，智譜也宣布了另一項前沿成果：AutoGLM。

一句話讓AutoGLM點喜茶視頻來源：數字生命卡茲克

讓 AI 像人類一樣操作電腦和手機，是近期領域內的熱點話題。以往這是一項頗具挑戰性的任務，因為在此類場景下，AI 需要根據用戶的要求拆解指令背后蘊含的步驟，感知環境、規劃任務、執行動作，逐步完成任務。某種程度上說，這突破了大模型的常規能力邊界，更加注重其「工具」屬性。

很多大模型公司都在探索這一方向，錨定其為「下一個 AI 前沿」。基于大語言模型（GLM 系列模型）、多模態模型和工具使用（CogAgent 模型）等方面的探索，智譜已經在由自主智能體（Agent）驅動的人機交互新范式方面取得了一些階段性成果。

在智譜最新發布的 AutoGLM App 中，用戶可以憑借一句指令讓 AI 自動完成許多任務，比如閱讀網頁信息、電商產品購買、點外賣、訂酒店、評論和點贊微信朋友圈等。目前，AutoGLM 已開啟內測（暫時僅支持 Android 系統）。

在 AutoGLM App 發布之前，AutoGLM-Web 已經通過「智譜清言」插件對外開放使用。這是一個能模擬用戶訪問網頁、點擊網頁的瀏覽器助手，可以根據用戶指令在私域網站上完成高級檢索并總結信息、模擬用戶看網頁的過程進行批量、快速的瀏覽并總結多個網頁，結合歷史郵件信息回復郵件。

?本文轉載自??51CTO技術棧??，作者：言征