想象一下，您正在參加一個充滿活力的雞尾酒會，局間充滿了熱烈的談話聲和玻璃杯碰撞的叮當聲。

此時，您作為一個悠閑的觀察者，怡然自得地躲在角落里。然而，就算沒有處在聚會的中心，您還是可以輕松地弄清楚不同人之間的社會關系，了解正在發生的事情，甚至通過閱讀人們的言語和非言語線索來讀懂明里暗里的社交信息。

如果一個LLM能夠復現這種水平的社交能力呢？這不，Koko Mind就是這么個東西。

隨便打開一個視頻，該模型就開始分析人物表情，得出人物情緒的結論。

然后，在右側的prompt欄還可以提出問題，讓AI進一步分析視頻中暗流涌動的社交謎題。

（說實話對有些人來說這都很難）

圖片

Koko Mind包含了150個復雜的多方社交互動以及自由文本問題和答案。

為了確保數據的多樣性和可擴展性，并避免數據污染，所有社交互動、問題和答案均由GPT-4生成，并隨后由人類專家驗證。

分析數據基于三個不同的來源：

• GPT-4-only：該子集僅由 GPT-4 通過提示創建。
  
• 基于電影：為了避免數據污染，這部分數據基于從2022年之后上映的電影中提取的各種場景。GPT-4負責塑造這些場景，在保留核心本質的同時添加了自己的元素。
  
• 基于 ToMi：該部分包含由模擬數據集ToMi支持的數據，其中涉及將物理對象移動到不同的地方，這是心理理論的經典測試。當然，這些社交互動還得被GPT-4修飾和擴展一下。

三種數據來源的占比如下：

圖片

對于每次社交互動，研究人員都會提出各種問題，旨在探討以下幾個和社交理解息息相關的方面。

• 心理理論：評估對其他人心理狀態和觀點的理解的問題。
  
• 社會規范：旨在辨別情境中的社會價值觀和規范的問題。
  
• 情緒識別：旨在識別和理解上下文中的情緒元素的問題。
  
• 社會關系：關注人際動態和關系。
  
• 反事實問題：旨在探索替代結果或可能性的假設查詢。
  
• 社會建議：提出與特定情況相關的建議或行動建議的問題。

研究人員以text-davinci-003 作為參考，評估了AlpacaEval后的不同模型。

其中，研究人員從上下文中刪除了括號中的非語言線索（例如，緊張地喝咖啡等）。

以下則是一些有趣的要點：

• 在兩個模型中，與Claude相比，GPT-4在識別獲勝模型方面表現出更大的確定性和信心。
  
• 當上下文沒有非語言線索，且交互要么完全由GPT-4生成，要么基于電影時，Claude的表現優于 GPT-4。
  
• 而如果上下文包含了非語言線索，那GPT-4總是比Claude更好。

（一種可能的解釋是，GPT-4是一種多模態模型可以更好地理解額外的非語言信息。）

在博客中，研究人員繪制了表格，可以清晰的看到各個模型的表現。

圖片

結果雖然在很多方面都令人興奮，但也有一定的局限性。首先， Koko Mind的規模相對較小，這可能會限制研究人員結論的廣泛適用性和全面性。

其次， Koko Mind中的所有交互都是由GPT-4生成的，需要人工驗證，這使得數據集難以擴展。

另外，雖然Koko Mind在數據集中提供了經過人工驗證的答案，研究人員在評估時沒有使用這些答案作為參考，并且由于這些答案是由GPT-4生成的，因此它們可能會偏向GPT-4。

未來的研究可以集中在如何評估模型上具有經過人工驗證的機器生成的參考答案。

當然，雖說存在這樣或那樣的限制，研究人員仍將Koko Mind視為未來與社會智能、多模態語言模型等相關的研究的跳板。