5 月 13 日，火山引擎在上海搞了場 FORCE LINK AI 創(chuàng)新巡展，一股腦發(fā)布了 5 款模型和產(chǎn)品，包括豆包?視頻生成模型 Seedance 1.0 lite、升級后的豆包 1.5?視覺深度思考模型，以及新版豆包?音樂模型。同時，Data Agent 和 Trae 等產(chǎn)品也有了新進展。

其中，全場最吸睛的就是豆包 1.5?視覺深度思考模型（以下稱 Seed 1.5-VL）。

相比于之前版本，Seed1.5-VL 具備更強的通用多模態(tài)理解和推理能力，不僅視覺定位和推理更快更準，還新增了視頻理解、多模態(tài)智能體能力。

舉個例子。僅需一張圖，再來個提示詞，Seed1.5-VL 就能精準識別觀眾、棒球、座椅、圍欄等多種元素，還能正確分類并給出坐標。

再比如，喂它一段監(jiān)控，問一句：「今天小貓干了哪些壞事？」幾秒鐘后，它就丟過來幾段視頻，「抓包」了小貓遛彎、玩球、巡視、搞破壞等各種「作案」現(xiàn)場。

盡管 Seed1.5-VL 的激活參數(shù)僅有 20B，但其性能可達到與 Gemini2.5 Pro 相當?shù)乃?，?60 個公開評測基準中，有 38 個取得 SOTA 表現(xiàn)，在視頻理解、視覺推理、多模態(tài)智能體能力等方面均處于第一梯隊。

Seed1.5-VL 推理性能拉滿，但推理成本極具優(yōu)勢。據(jù)其官網(wǎng)顯示，Seed1.5-VL 推理輸入價格僅為每千 tokens 0.003 元，推理輸出價格為每千 tokens 0.009 元。

目前，Seed1.5-VL 已在火山引擎全面開放 API，開發(fā)者登錄后選擇 Doubao-1.5-thinking-vision-pro 即可快速調(diào)用其能力，構建自己的 AI 視覺助手、巡檢系統(tǒng)、交互 Agent 或下一代智能攝像頭。

• 官網(wǎng)：https://seed.bytedance.com/tech/seed1_5_vl

• API：https://www.volcengine.com/experience/ark?model=doubao-1-5-thinking-vision-pro-250428

一手實測：視覺定位、推理又快又準

說一千道一萬，模型好不好使，還得親自上手試。接下來，我們就奉上一手實測，檢驗一下 Seed1.5-VL 真實能力。

先來看看它的視覺定位和推理能力。

我們上傳一張擺滿各式各樣牛奶的貨架圖片，讓它找出圖中有幾盒黃桃味果粒酸奶優(yōu)酸乳，并計算它們的價格。

這類任務看似簡單，實則非?？简災Ｐ偷亩嗄B(tài)協(xié)同能力，需要它同時具備圖像理解（識別包裝）、文本 OCR（識別價格標簽）、語義匹配（產(chǎn)品名稱匹配）、數(shù)學推理（乘法計算）等能力。

而 Seed1.5-VL 僅用不到 10 秒，就精準識別出貨架角落里的黃桃味酸奶優(yōu)酸乳，還準確數(shù)清瓶數(shù)、識別單價，并進行正確的價格計算。

除了門店貨架巡檢的工作，我們還讓它找出下圖中有幾只小貓在生氣。

從圖像像素級別的變化中提取情緒線索，這對大模型的圖像理解精度、注意力機制、細粒度識別能力都是極大的挑戰(zhàn)。Seed1.5-VL 面對一整屏表情相似的小貓臉，準確識別出 5 只在「生氣」，并給出了相應坐標。

還有下面這個「找不同」測試，Seed1.5-VL 既能精確分析兩張相似圖片的細微差別，又能清晰描述所有不同點，比如太陽左側飛鳥數(shù)量、沙灘球顏色等，這展示了它在視覺理解、空間關系處理和結構化輸出方面的綜合能力。

此外，它還可以推理復雜視覺謎題。

比如這道公務員圖形推理題目，大部分人看到這些黑白方塊一頭霧水，但 Seed1.5-VL 僅用 10 秒就捕捉到其中的規(guī)律，通過精準識別前兩行圖形疊加后「去同存異」的變換邏輯，準確推導出第三行的缺失圖形。

對于開發(fā)者來說，Seed1.5-VL 新增的多模態(tài)智能體能力是一大利器。它基于強大的 GUI 定位性能，可在 PC 端、手機端等不同環(huán)境中完成復雜交互任務。

比如在測試環(huán)境中，Agent 可以識別并點擊「點贊」按鈕，用于模擬用戶行為，驗證功能流程是否正常。

技術解讀：重構視覺理解邊界

作為 Seed 系列最新一代多模態(tài)模型，Seed1.5-VL 在超過 3T token 的多模態(tài)數(shù)據(jù)上完成預訓練，在圖像問答、圖表理解、視覺推理、視頻分析、GUI 智能體等多個任務上表現(xiàn)突出，成為推動多模態(tài)交互應用落地的重要引擎。

那么，該模型背后有哪些獨門絕技？

• 論文鏈接：https://arxiv.org/abs/2505.07062
• 技術報告：https://github.com/ByteDance-Seed/Seed1.5-VL/blob/main/Seed1.5-VL-Technical-Report.pdf
• GitHub：https://github.com/ByteDance-Seed/Seed1.5-VL

從模型架構上來說，Seed1.5-VL 由三個核心組件構成：首先是視覺編碼模塊 SeedViT，模型參數(shù)為 532M，用于對圖像和視頻進行編碼，能夠處理任意長寬比的圖像輸入；其次是一個多層感知機（MLP）適配器，負責將視覺特征投影到多模態(tài)表征空間；最后是基于 MoE 架構的大語言模型 Seed1.5-LLM，激活參數(shù)為 20B，專注于處理融合后的多模態(tài)輸入。

盡管激活參數(shù)規(guī)模遠小于傳統(tǒng)大型模型，但其表現(xiàn)卻足以媲美甚至超越當前多項主流方法，在保證性能的同時顯著降低了推理成本。

在訓練方法上，Seed1.5-VL 并未從一開始就進行聯(lián)合多模態(tài)學習，而是選擇了在語言模型基座上進行多模態(tài)預訓練，以實現(xiàn)靈活的消融實驗和快速迭代開發(fā)。

整個預訓練過程分為三個階段：初期僅訓練 MLP 適配器以初步對齊視覺和語言表征；中期解凍所有參數(shù)，在大規(guī)模圖文數(shù)據(jù)中強化知識積累、視覺 grounding 和 OCR 能力；后期在更均衡的數(shù)據(jù)混合中加入視頻、編程、三維理解等新領域數(shù)據(jù)，并將序列長度顯著增加，以處理復雜場景和長序列依賴。

到了后訓練階段，Seed1.5-VL 引入了監(jiān)督微調(diào)（SFT）與強化學習（RL）的組合策略。

SFT 訓練數(shù)據(jù)集包含通用指令數(shù)據(jù)和長鏈式思考數(shù)據(jù)，前者用于簡潔準確響應，后者用于詳細分步推理。其中長鏈式思考數(shù)據(jù)是基于強化學習后的模型，通過拒絕采樣的方式得到。

強化學習則整合了基于人類和驗證器反饋的強化學習（RLHF/RLVR）及多項先進技術。采用混合獎勵，區(qū)分通用與可驗證提示，通用提示僅獎勵最終解以激勵思考探索；針對不同類型的任務采用差異化 KL 散度系數(shù)，平衡獎勵利用與探索。

考慮到多模態(tài)模型在訓練中的異構性挑戰(zhàn)，Seed1.5-VL 在 Training Infrastructure 設計上也進行了大量工程創(chuàng)新。

模型采用多模態(tài)并行框架，針對視覺編碼 / MLP 適配器和語言模型分別使用 ZeRO 數(shù)據(jù)并行與標準 4D 并行策略，充分發(fā)揮各自優(yōu)勢；視覺 token 的重分配采用局部貪心負載均衡算法，將計算負載合理分布在 GPU 集群中，提升吞吐效率；此外，還定制了數(shù)據(jù)加載器，優(yōu)化了數(shù)據(jù)讀取和分發(fā)過程。

Seed1.5-VL 以其強大的多模態(tài)理解與推理能力，正在重塑我們與視覺世界交互的方式。無論是圖像定位、視覺推理還是長視頻解析，Seed1.5-VL 都展示了行業(yè)領先的技術實力，也為通用視覺系統(tǒng)的實際應用拓寬了路徑。

結語

在此次上海巡展中，火山引擎展示了其在 AI 領域的多項創(chuàng)新成果。從輕量級視頻生成到深度視覺理解，再到音樂創(chuàng)作與全流程數(shù)據(jù)智能體，火山引擎正逐步構建一個完整的技術生態(tài)，不僅為企業(yè)提供了更強的技術支撐，也推動了從業(yè)務流程到智能體應用的全面落地。

這也意味著，真正的多模態(tài)智能時代，正加速走進現(xiàn)實。