1 月 2 日消息，清華大學智能產業研究院（AIR）于 2024 年 12 月 24 日發布論文，介紹推出 AutoDroid-V2 AI 模型，在移動設備上利用小語言模型，顯著提升了自然語言控制的自動化程度。

該系統采用基于腳本的方法，利用設備端小型語言模型（SLM）的編碼能力，高效執行用戶指令。相比依賴云端大型語言模型（LLM）的傳統方法，AutoDroid-V2 在效率、隱私和安全性方面均有顯著優勢。

項目背景

大型語言模型（LLMs）和視覺語言模型（VLM）通過自然語言命令，徹底改變了移動設備控制的自動化，為復雜的用戶任務提供了解決方案。

自動化控制設備主流采用“逐步 GUI 智能體”（Step-wise GUI agents）方式，通過在每個 GUI 狀態查詢，LLM 進行動態決策和反思、持續處理用戶的任務，并觀察 GUI 狀態直至完成來進行操作。

但這種方式嚴重依賴基于云端的模型，在分享個人 GUI 頁面時，還存在隱私和安全風險，此外還存在大量的用戶端流量消耗以及高昂的服務器端集中服務成本等嚴重問題，阻礙大規模部署 GUI 智能體。

項目簡介

不同于傳統的逐步操作，AutoDroid-V2 根據用戶指令生成多步驟腳本，一次性執行多個 GUI 操作，大幅減少了查詢頻率和資源消耗。

利用設備上的小型語言模型進行腳本生成和執行，避免了對強大云端模型的依賴，有效保護了用戶隱私和數據安全，并降低了服務器端成本。

該模型在離線階段會構建應用程序文檔，包含 AI 引導的 GUI 狀態壓縮、元素 XPath 自動生成和 GUI 依賴分析，為腳本生成奠定基礎。

此外用戶提交任務請求后，本地 LLM 生成多步驟腳本，由特定域解釋器執行，確保可靠高效的運行。

性能

基準測試上，在 23 個移動應用上測試 226 項任務，與 AutoDroid、SeeClick、CogAgent 和 Mind2Web 等基線相比，任務完成率提高 10.5%-51.7%。

在資源消耗方面，輸入和輸出 token 消耗分別減少至 43.5 分之一和 5.8 分之一，LLM 推理延遲降低至 5.7~13.4 分之一。

跨 LLM 測試中，在 Llama3.2-3B、Qwen2.5-7B 和 Llama3.1-8B 上表現一致，成功率 44.6%-54.4%，反向冗余比 90.5%-93.0%。

IT之家附上參考地址

• AutoDroid-V2: Boosting SLM-based GUI Agents via Code Generation