蘋果的研究人員推出了一種創新模型ReALM，可將參考解析問題轉化為語言建模問題，能極大提升AI助手處理很多描述復雜或模糊不清的內容。

例如，我們網購時選好了橘子、鴨梨、蘋果、橘子汽水、洗發水、短袖、拖鞋等物品，然后告訴AI助手只結算水果。這時傳統的AI助手可能會將橘子和橘子汽水混淆進行一起結算。

而ReALM模型會重建手機或者PC等平臺上的屏幕關鍵信息，并將其轉化成一種可理解的文本，再用大語言模型去解讀用戶的需求，這樣就可以提升操作的準確率避免出現錯誤。

根據測試數據顯示，ReALM的性能全方位超越了同類模型MARRS；10億參數和30億參數在三項測試中超過GPT-4，Unseen測試幾乎差不多，這也提現了ReALM非常強悍的理解和轉化能力。

論文地址：https://arxiv.org/abs/2403.20329

ReALM的核心方法是識別并重建屏幕（手機、PC、平板電腦等），通過使用解析出的實體及其位置生成屏幕的純文本表示。

然后對屏幕上的實體部分進行標記，以便大語言模型能夠在上下文中了解實體出現的位置以及周圍的文本內容。

屏幕解析

屏幕解析模塊是ReALM的核心模塊之一，主要負責從用戶的屏幕上識別相關信息包括文本框、按鈕、圖標等元素，并提取它們的文本內容、類型和位置信息等。這些信息被用來構建一個結構化的屏幕表示，為后續的參考解析提供基礎。

首先通過OCR（光學字符識別）在屏幕上識別和檢測文本實體，并將其轉換為可編輯的文本格式。

一旦文本被檢測到，屏幕解析模塊需要確定每個文本實體的類型，包括電話號碼、電子郵件地址、URL、日期時間等，再通過預先定義的模式匹配或機器學習模型進行實體分類。

除了識別文本內容和類型，屏幕解析模塊還需要確定每個實體在屏幕上的確切位置。通常是一個矩形區域，圍繞實體文本并定義了其在屏幕上的幾何位置。

此外，屏幕上的實體往往不是孤立存在的，可能與其他元素之間有關系，例如，按鈕、圖標菜單選項等。

ReALM會用大語言模型去理解這些元素之間的關系，以便正確解釋、還原用戶的文本查詢或語音指令。

解析輸出

解析輸出的主要作用理解用戶查詢中的參考內容，并找到與之匹配的正確實體，然后完成最終的操作輸出。

解析輸出會接收到屏幕解析、大語言模型等其他模塊的預測結果。這些結果通常是一個實體列表包括文本、URL、書籍、按鈕、圖標等，每個實體都有一個與之相關的置信度分數。

需要注意的是，如果用戶的查詢中有多個可能的參考實體（例如，開頭提到的那個橘子和橘子汽水的案例），解析輸出模塊需要解決這些實體之間的沖突。所以，ReALM會比較置信度分數、考慮實體類型和上下文信息等。

在確定了最終的實體后，解析輸出模塊需要將這些實體格式化為一種易于理解和操作的形式。可能是一個簡單的文本回復，也可能是一個更復雜的數據結構，用于整體的操作輸出或提供給其他模塊使用。

ReALM還提供了一個可視化用戶交互模塊，主要負責接收用戶的查詢信息，然后將查詢和屏幕上的實體信息傳遞給大語言模型，并展示參考解析的結果。該模塊還能通過用戶的反饋機制，幫助模型進行自我學習改進其解析能力。

本文轉自 AIGC開放社區 ，作者：AIGC開放社區

原文鏈接:??https://mp.weixin.qq.com/s/1Iv7DkiaadJlq-19i8xkKw??