論文鏈接：https://arxiv.org/pdf/2502.12150 
Git鏈接：https://github.com/locuslab/llm-idiosyncrasies

亮點直擊

• 高準確率的模型區分：通過簡單的文本嵌入模型微調，實現了高達97.1%的分類準確率，顯著高于隨機猜測的20.0%。
• 語義保留變換下的強魯棒性：即使對文本進行重寫、翻譯或總結等語義保留變換，分類準確率仍保持在90%以上，表明LLM的獨特性不僅體現在詞匯層面，還體現在語義層面。
• 開放描述生成：利用LLM作為評判者，生成每個模型獨特行為的詳細描述，為理解不同LLM的輸出模式提供了新的視角。
• 對合成數據訓練的警示：研究結果表明，使用合成數據訓練LLM時需謹慎，因為這些獨特性可能會在訓練過程中被繼承，影響模型的輸出行為。

總結速覽

解決的問題

• 區分不同LLM生成的文本：研究旨在識別和區分不同大語言模型（LLM）生成的文本，揭示各模型的獨特輸出模式。
• 理解LLM的獨特行為：通過分析LLM生成的文本，探討這些模型的獨特行為及其在語義層面的表現。

提出的方案

• 文本分類任務：設計一個簡單的分類任務，通過訓練分類器來預測給定文本的生成模型。
• 文本變換分析：通過對生成的文本進行隨機打亂、重寫、翻譯和總結等變換，分析這些變換對分類準確率的影響。
• 開放描述生成：利用LLM作為評判者，生成每個模型獨特行為的詳細描述。

應用的技術

• 文本嵌入模型微調：對現有的文本嵌入模型進行微調，以適應LLM生成的文本。
• 多模型分類：在多個LLM（如ChatGPT、Claude、Grok、Gemini和DeepSeek）之間進行多分類任務。
• 語義保留變換：通過重寫、翻譯和總結等技術，保留文本的語義內容，同時觀察分類準確率的變化。

達到的效果

• 高分類準確率：在五分類任務中，分類器在驗證數據上達到了97.1%的準確率。
• 強魯棒性：即使在文本長度和格式受控的情況下，分類器仍能保持高準確率。
• 語義層面的獨特性：即使經過語義保留的文本變換，分類準確率仍顯著高于隨機猜測，表明LLM的獨特性也體現在語義層面。

評估LLM的獨特性

大語言模型（LLMs）具有一些共同特征。首先，都采用了基于自注意力機制的Transformer架構。其次，它們使用自回歸目標進行訓練，即根據前面的上下文預測序列中的下一個token。最后，它們的訓練數據集有顯著的重疊，通常包含大量多樣化的來源，如Common Crawl、Wikipedia和Stack Overflow。鑒于這些相似性，自然會問：LLMs的輸出方式是否相同？如果不同，如何有效衡量它們的差異程度？

主要觀察結果

神經網絡在分類LLM輸出時表現出驚人的高準確率。這一觀察結果在不同設置下（例如，跨模型家族和規模）都具有魯棒性。由于本文的任務本質上是一個序列分類問題，微調了一個強大的序列嵌入模型LLM2vec，并添加了一個N分類頭，報告了最終的準確率。

1. 對話API（"chat"類）：包含GPT-4o、Claude-3.5-Sonnet、Grok-2、Gemini-1.5-Pro和DeepSeek-V3，除DeepSeek外均為閉源模型。
2. 指令微調LLM（"instruct"類）：包含Llama3.1-8b、Gemma2-9b、Qwen2.5-7b和Mistral-v3-7b四個同規模不同家族的模型。
3. 基礎LLM（"base"類）：指令微調LLM的基礎版本，僅通過大規模文本預訓練獲得。

每類模型生成11K文本序列（10K訓練，1K驗證）。對話API和指令微調LLM使用UltraChat數據集，基礎LLM使用FineWeb數據集生成文本。

跨模型家族分類 下表1展示了不同組合的分類結果。在二分類任務中，神經網絡持續保持90%以上準確率（僅個別例外），多數組合達到99%準確率。在更具挑戰性的N分類任務中，分類器在三個組別均保持87.3%以上的強性能，凸顯了不同LLM間的顯著差異性。

同模型家族內分類 當區分同家族模型時（如Qwen2.5系列的7B/14B/32B/72B模型），分類難度增加但仍顯著優于隨機水平（二分類最高85.5%，全組合59.8%）。區分同模型的基礎版與指令微調版時，分類器可達96.8%準確率。

分布外響應泛化 分類器在四個不同來源的指令數據集（UltraChat、Cosmopedia、LmsysChat、WildChat）上展現出強泛化能力（下表3），表明其學習到了穩健且可遷移的模式。

控制實驗

研究者們在多個控制設置下分析合成分類任務的行為特征（下文僅報告各組N分類準確率）。

提示層面干預 通過添加長度控制（"請提供簡潔回答，單段不超過100詞"）和格式控制（"請使用純文本，避免格式token"）指令，發現分類準確率仍保持高位（下表4），表明LLM特征深度嵌入于生成文本中，不受表層約束影響。

輸入長度控制 下圖2顯示，隨著輸入token數量增加，分類性能逐步提升。值得注意的是，對話API和指令LLM僅需單個token即可獲得約50%準確率，表明首個token已包含顯著區分信號。

采樣方法分析 下表5顯示，區分同一LLM不同解碼策略（貪婪解碼、溫度采樣、top-k、top-p）生成的響應時，最高準確率僅59%。在五分類任務（不同溫度softmax采樣）中，準確率37.9%僅略高于20%基線，表明解碼策略對輸出可分性影響有限。

文本嵌入模型對比 下表6顯示，不同世代嵌入模型（ELMo、BERT、T5、GPT-2、LLM2vec）均能實現高準確率，其中LLM2vec性能最佳（對話API 97.1%，指令LLM 96.3%，基礎LLM 87.3%）。

訓練數據規模 下圖3表明分類性能隨訓練樣本量增加而提升，僅需10個樣本即可超越隨機基線（指令LLM 40.3%）。

LLM具體特有模式

本文使用ROUGE-1、ROUGE-L和BERTScore等指標量化LLM輸出的詞匯差異（下表7），發現不同LLM生成的文本相似度顯著低于同模型不同采樣結果。以下從三個維度剖析具體特有模式：

詞匯與字母

文本重組 通過去除特殊字符并進行詞匯/字母級重組（下表8），發現：

• 去除特殊字符后分類準確率保持高位（對話API 95.1%，指令LLM 93.8%）
• 詞匯重組僅導致小幅下降，表明特征主要編碼于詞匯分布
• 字母重組使準確率接近隨機水平（49-56%），字母分布差異極小（下圖5）

特征短語 使用TF-IDF特征訓練邏輯回歸模型（對話API 85.5%，指令LLM 83.7%），提取各模型top10特征短語（下圖6）。例如：

• ChatGPT偏好"such as"、"certainly"等過渡詞
• Claude傾向"according to"、"based on"等引用表達首詞選擇分布也呈現顯著差異（下圖7）。

Markdown格式

保留Markdown元素（加粗、斜體、標題等）并替換文本為"xxx"后（下表9）：

• 對話API和指令LLM仍保持73.1%/77.7%準確率
• 基礎LLM接近隨機水平（25%）各模型格式使用習慣差異顯著（圖8），例如：

• Claude較少使用加粗和標題
• ChatGPT偏好結構化格式（下圖4）

語義層面

改寫測試 使用GPT-4o mini進行改寫、翻譯和摘要后（下表10）：

• 改寫和翻譯文本分類準確率與原文本相當
• 摘要文本準確率下降但仍顯著優于隨機表明語義信息對分類具有決定性作用。

開放性語言分析 使用ChatGPT作為評估者對響應進行開放性描述（下圖9），發現：

• ChatGPT偏好詳細描述和復雜格式
• Claude側重簡潔表達和核心內容

研究啟示

合成數據中的特有模式

在Llama3.1-8b和Gemma2-9b上使用UltraChat（ChatGPT生成）進行監督微調后：

• 模型間分類準確率從96.5%降至59.8%
• 使用合成數據微調的模型仍保留源模型特征（準確率98.9%）表明合成數據訓練會傳播源模型特有模式。

模型相似性推斷

通過排除法訓練分類器并評估被排除模型的響應歸屬（下圖10），發現：

• Claude、Grok、Gemini輸出常被誤判為ChatGPT
• DeepSeek和ChatGPT輸出與Phi-4關聯密切該方法為評估前沿模型相似性提供了量化工具。

結論

本文證明了大語言模型（LLMs）中存在獨特性，并研究了一種旨在量化其程度的合成任務。只需在LLM輸出上微調預訓練的文本嵌入模型，就能在預測文本來源時獲得極高的準確率。這一現象在不同的提示數據集、LLM組合以及其他多種設置中均持續存在。本文還明確了LLM中這些獨特性的具體形式。希望本文的工作能夠鼓勵進一步研究理解LLM中的獨特性。

本文轉自AI生成未來 ，作者：AI生成未來

原文鏈接:??https://mp.weixin.qq.com/s/3Os_qpHJAsA21vzVUZjKzg??