UI-R1 | 僅136張截圖，vivo開源DeepSeek R1式強化學習，提升GUI智能體動作預測
基于規(guī)則的強化學習（RL/RFT）已成為替代 SFT 的高效方案，僅需少量樣本即可提升模型在特定任務中的表現(xiàn)。
該方法通過預定義獎勵函數(shù)規(guī)避人工標注成本，如 DeepSeek-R1 在數(shù)學求解中的成功應用，以及多模態(tài)領域在圖像定位等任務上的性能突破（通常使用 IOU 作為規(guī)則 reward）。
vivo 與香港中文大學的研究團隊受到 DeepSeek-R1 的啟發(fā)，首次將基于規(guī)則的強化學習（RL）應用到了 GUI 智能體領域。
- 論文標題：UI-R1: Enhancing Action Prediction of GUI Agents by Reinforcement Learning
- 論文地址：https://arxiv.org/abs/2503.21620
- 項目主頁：https://yxchai.com/UI-R1/
- 項目代碼：https://github.com/lll6gg/UI-R1
簡介
本研究創(chuàng)新性地將規(guī)則 RL 范式拓展至基于低級指令的 GUI 動作預測任務。具體實現(xiàn)中，多模態(tài)大語言模型為每個輸入生成包含推理標記和最終答案的多條響應軌跡，在訓練和測試時的 prompt 設計如下：
隨后通過我們設計的獎勵函數(shù)評估每條響應，并采用 GRPO 等策略優(yōu)化算法更新模型參數(shù)。該獎勵函數(shù)包含三個維度：
- 動作類型獎勵：根據(jù)預測動作與真實動作的匹配度計算；
- 動作參數(shù)獎勵（聚焦點擊操作）：通過預測坐標是否落入真實邊界框評估；
- 格式規(guī)范獎勵：評估模型是否同時提供推理過程和最終答案。
數(shù)據(jù)制備方面，僅依據(jù)難度、多樣性和質量三原則篩選 130 余個移動端訓練樣本，展現(xiàn)出卓越的數(shù)據(jù)效率。實驗表明，UI-R1 在桌面端和網(wǎng)頁平臺等跨領域（OOD）數(shù)據(jù)上均取得顯著性能提升，印證了規(guī)則 RL 處理跨領域復雜 GUI 任務的潛力。
方法：強化學習驅動的 GUI 智能體
我們提出的 UI-R1 模型采用了三個關鍵創(chuàng)新：
1. 獨特的獎勵函數(shù)設計
研究團隊設計了專門針對 GUI 任務的獎勵函數(shù)：R = R_T + R_C + R_F
- R_T：行為類型獎勵（點擊、滑動、返回等）
- R_C：坐標準確度獎勵（點擊位置是否準確）
- R_F：格式獎勵（輸出的格式是否正確）
2. 精心篩選的高質量數(shù)據(jù)
與其使用大量普通數(shù)據(jù)，我們提出采用了「質量優(yōu)先」的策略，從三個維度精選訓練數(shù)據(jù)：
- 質量：選擇標注準確、對齊良好的樣本
- 難度：專注于基礎模型難以解決的「困難」樣本
- 多樣性：確保涵蓋各種行為類型和元素類型
最終只使用了 136 個高質量樣本，比傳統(tǒng)方法少了幾百甚至上千倍，就能夠訓練得到比 SFT 方式更優(yōu)的效果。
3. 群體相對策略優(yōu)化算法
UI-R1 采用了一種名為 GRPO（Group Relative Policy Optimization）的算法。這種算法不需要額外的評論家模型，而是通過比較同一問題的多個不同回答來學習什么是「好」的回答。
實驗結果
1. 域內效果提升明顯
在 AndroidControl 基準測試上，UI-R1-3B 與基礎模型 Qwen2.5-VL-3B 相比：
- 行為類型準確率提高了 15%
- 定位準確率提高了 10.3%
2. 域外泛化能力驚人
UI-R1 在從未見過的桌面 PC 端和網(wǎng)頁界面上表現(xiàn)同樣出色：
- 在 ScreenSpot 測試中，UI-R1-3B 的平均準確率達到 78.6%，超越 CogAgent-18B 等大模型。
- 在專業(yè)高分辨率環(huán)境 ScreenSpot-Pro 測試中，UI-R1-3B 達到 17.8% 的平均準確率，提升了與使用 76K 數(shù)據(jù)訓練的 OS-Atlas-7B（18.9%）性能相當。
分析
我們關于 UI-R1 做了一系列分析，研究發(fā)現(xiàn)：在 GRPO 的強化學習微調的方式下，數(shù)據(jù)質量比數(shù)據(jù)數(shù)量重要：
- 困難樣本更有價值：按難度選擇的方法比隨機選擇的性能顯著更好。
- 數(shù)據(jù)增長收益遞減：隨著訓練數(shù)據(jù)量增加，性能提升趨于平緩。
- 精選小數(shù)據(jù)集比大數(shù)據(jù)集更有效：三階段數(shù)據(jù)選擇方法優(yōu)于使用整個數(shù)據(jù)集或者隨機篩選相同數(shù)量的子集。
此外，我們還發(fā)現(xiàn)動作預測的難度與思考的長度之間存在關聯(lián)：思考長度越長，準確率越低（說明問題越難），但通過 UI-R1 形式的強化學習微調之后，對于難樣本的成功率提升也更加明顯。
這一現(xiàn)象證明了強化微調的價值，通過讓模型自主思考來提升難樣本的準確率，這個特性是之前的監(jiān)督微調所難以獲得的。
未來探索方向
UI-R1 初步探索了大模型強化學習和推理技術在 GUI Agent 領域的應用。下一步，我們將嘗試將 UI-R1 從 RFT 拓展到 SFT + RFT 的組合，實現(xiàn)大規(guī)模 UI 數(shù)據(jù)下統(tǒng)一的思考、決策、規(guī)劃的 GUI Agent 大模型。
