楊笛一新作：社恐有救了，AI大模型一對一陪聊，幫i人變成e人
在人類的社交活動中，為了更有效地在工作和生活中與他人溝通，需要一定的社交技能，比如解決沖突。
然而，社交技能的練習環境對于大多數人來說通常是遙不可及的。特別是由專家訓練這些技能時，往往耗時、投入高且可用性有限。現有的練習和反饋機制很大程度上依賴專家監督，使訓練難以擴展。此外，經過專業培訓的教練也缺乏，而大多數可以提供定制化反饋的教練無法幫助大量有需要的人。
近日，在由斯坦福助理教授楊笛一為共同一作的論文《Social Skill Training with Large Language Models》中，研究者認為，借助大語言模型可以使得社交技能訓練變得更容易、更安全、更有吸引力，并在現實、虛擬練習空間中提供量身定制的反饋。
論文地址：https://arxiv.org/pdf/2404.04204.pdf
具體來講，研究者提出了以下兩種社交技能訓練框架。
第一個訓練框架是 AI Partner，它可以通過模擬練習為體驗式訓練提供可擴展的解決方案。此前已經有研究表明，人類角色扮演可以有效地教授溝通、合作和領導技能。與 on-the-job 訓練相比，模擬可以讓學習者承擔更少的風險和機會成本。而通過模擬，AI Partner 將減少進入專業領域的社會經濟障礙。
第二個補充訓練框架是 AI Mentor， 它將根據領域專業知識和事實知識提供個性化反饋。
這兩個訓練框架（合稱為 APAM）都可以將體驗式學習與現實練習、定制反饋相結合。研究者呼吁通過跨學科創新來解決 APAM 的廣泛影響。
論文作者楊笛一表示：「學習社交技能對大多數人來說是遙不可及的，我們如何才能使社交技能訓練變得更容易實現？基于此，我們推出 APAM，其利用 LLM 通過現實實踐和量身定制的反饋進行社交技能訓練！」
她接著表示：「在 APAM 中，當用戶想要學習一項新的社交技能時，AI Partner 可以幫助他們通過模擬對話來練習相關場景。AI Mentor 可以在模擬的關鍵時刻提供基于知識的反饋。」
APAM 架構概覽
該研究提出了一個通用框架專門用于社交技能訓練，該框架包括 AI Partner 和 AI Mentor（兩者簡稱 APAM），并且這兩者至關重要。當用戶想要學習一項新的社交技能時，AI Partner 可以通過模擬對話幫助他們練習相關場景。AI Mentor 可以在模擬的關鍵時刻提供基于知識的反饋。
然而，構建和部署 AI Partner 并非易事，比如很難保持模擬人物的風格、行為和情感特征的一致性。而開發 AI Mentor 在很大程度上依賴于領域專業知識、情境感知和反饋效率等因素。
為了解決上述問題，研究者提出通過 LLM 進行社交技能訓練的通用方法，分四個步驟完成：
- 了解如何解決問題的技能（例如，解決沖突）；
- 設計一個 AI partner 來模擬對話，讓學習者（即用戶）接觸目標過程，進行練習；
- 創建一個 AI mentor 來提供反饋；
- 將這兩個智能體集成到模擬環境中，以便用戶學習。
研究者表示，APAM 框架的理想受眾是初學者，但是有經驗的人也可以使用 APAM 系統來刷新他們的知識。
APAM 可以在許多領域提高學習者的技能，表 1 列舉了一些應用場景，例如如何傾聽、心理健康咨詢等。不過 APAM 框架不僅限于這些典型的例子，論文第 6 節有更多的介紹。
雖然 LLM 作為社交技能訓練工具潛力巨大，因為它們可以生成連貫且自然的文本。然而，這種靈活性往往伴隨著有限的可控性。
出于安全考慮， APAM 框架為如何應用 AI 提供了一系列措施，他們將使用過程分解為一個連續體：AI Partner 連續體以及 AI Mentor 連續體，每個連續體都由三個模型完成（如圖 1 所示）。
評估結果
AI partner 和 AI mentor 的評估是一個重大挑戰，基于 APAM 的工具涉及復雜的計算系統以及與不同需求和背景的用戶的交互。
為了將這些訓練工具開發為一個領域，評估措施需要超越自然語言處理中傳統的指標，轉而采用來自多個相關領域和利益相關者的方案。納入多學科視角將有助于評估此類系統的實證性能、基于用戶角度的可用性以及對用戶和社區的長期影響。
目前，文本生成的研究主要集中在內在評估上，即通過預定義的規則或交互來評估輸出的質量。
在下表 2 中，研究者主要劃分為全自動評估和用戶驅動評估。基于參考的指標（如困惑度或 Kullback-Leibler 散度）通常用于系統質量自動評估，它們既簡單又允許通過演示對所需行為進行豐富的定義。
表 2 詳細列出了以往工作中適用于 APAM 系統的內在和外在評估程序。目前，自然語言處理從業者主要關注對系統的內在評估。本文中，研究者強調使用既定的教育成果衡量標準來評估 APAM 系統的重要性。
更多細節請參閱原論文。
本文轉自 機器之心 ，作者：機器之心
