本文介紹的工作由中國人民大學(xué)高瓴人工智能學(xué)院李崇軒、文繼榮教授團(tuán)隊(duì)與螞蟻集團(tuán)共同完成。朱峰琪、王榕甄、聶燊是中國人民大學(xué)高瓴人工智能學(xué)院的博士生，導(dǎo)師為李崇軒副教授。

該研究基于團(tuán)隊(duì)前期發(fā)布的 8B 擴(kuò)散語言模型 LLaDA（國內(nèi)率先做到真正可用的擴(kuò)散語言模型，是后續(xù)很多研究的主干基礎(chǔ)模型），探索了擴(kuò)散語言模型的偏好對(duì)齊方法，提出了方差縮減的偏好優(yōu)化方法 VRPO，并利用 VRPO 對(duì) LLaDA 進(jìn)行了強(qiáng)化對(duì)齊，推出了 LLaDA 1.5。與 LLaDA 相比，LLaDA 1.5 在數(shù)學(xué)、代碼和對(duì)齊任務(wù)上取得了一致性的提升。同時(shí)，VRPO 為后續(xù)擴(kuò)散語言模型的對(duì)齊提供了統(tǒng)一的框架。

近期，擴(kuò)散語言模型受到廣泛關(guān)注，催生了一系列針對(duì)該領(lǐng)域的探索性研究，隨著 Gemini Diffusion 的發(fā)布，這一趨勢(shì)進(jìn)一步加速。

然而，現(xiàn)有的大型擴(kuò)散語言模型多采用「預(yù)訓(xùn)練 + 有監(jiān)督微調(diào)」的范式，針對(duì)擴(kuò)散語言模型的強(qiáng)化對(duì)齊進(jìn)行深入研究的工作較為有限。

強(qiáng)化對(duì)齊對(duì)于大語言模型的指令遵循和通用任務(wù)能力至關(guān)重要。研究團(tuán)隊(duì)以直接偏好優(yōu)化（DPO）為切入點(diǎn)，剖析了擴(kuò)散語言模型在強(qiáng)化對(duì)齊時(shí)面臨的關(guān)鍵問題，提出了方差縮減的偏好優(yōu)化方法，使擴(kuò)散語言模型能夠?qū)崿F(xiàn)穩(wěn)定的強(qiáng)化對(duì)齊訓(xùn)練，這一原則也為后續(xù)擴(kuò)散語言模型的對(duì)齊工作提供了理論基礎(chǔ)和實(shí)踐指南。

• 論文標(biāo)題：LLaDA 1.5: Variance-Reduced Preference Optimization for Large Language Diffusion Models
• 論文鏈接：https://arxiv.org/abs/2505.19223
• 項(xiàng)目地址：https://ml-gsai.github.io/LLaDA-1.5-Demo/

性能表現(xiàn)：數(shù)學(xué)、代碼、對(duì)齊任務(wù)相比 LLaDA 取得一致性提升

相比于 LLaDA，LLaDA 1.5 在數(shù)學(xué)、代碼生成、對(duì)齊任務(wù)上取得了一致性的提升。

此外，LLaDA 1.5 是當(dāng)前最具有競(jìng)爭力的擴(kuò)散語言模型。與其他擴(kuò)散語言模型相比，在數(shù)學(xué)任務(wù)（如 GSM8K，Math）上具有競(jìng)爭性優(yōu)勢(shì)。

相比于 LLaDA，LLaDA 1.5 在指令遵循能力上的提升顯著：

上述指令給出了對(duì)模型的一系列要求：提出兩種新型補(bǔ)品的名字并包含關(guān)鍵詞「brand」，名稱以雙尖括號(hào)標(biāo)注，先逐詞復(fù)述請(qǐng)求，再給出答案。相比 LLaDA，LLaDA 1.5 遵循了全部指令。

方法介紹

該研究以直接偏好優(yōu)化（DPO）為切入點(diǎn)，原始 DPO 損失基于模型對(duì)給定偏好數(shù)據(jù)對(duì)的對(duì)數(shù)似然。對(duì)于掩碼擴(kuò)散語言模型，難以計(jì)算精確的對(duì)數(shù)似然，使用證據(jù)下界（ELBO）近似。需要通過對(duì)時(shí)間步 t 和掩碼數(shù)據(jù) y_t 進(jìn)行雙重采樣進(jìn)行估計(jì)：

將 ELBO 帶入 DPO 損失的對(duì)數(shù)似然項(xiàng)，可以得到基于 ELBO 的 DPO 損失估計(jì)器：

其中，紅色部分為偏好估計(jì)。

在實(shí)際應(yīng)用中，采用蒙特卡洛方法近似對(duì)數(shù)似然會(huì)引入 DPO 損失的偏差和方差，影響模型的梯度估計(jì)，進(jìn)而導(dǎo)致訓(xùn)練過程不穩(wěn)定，甚至影響模型對(duì)齊后的最終性能表現(xiàn)。

本研究首先證明了：蒙特卡洛估計(jì)引入的偏差和方差，可以被偏好估計(jì)器的方差限制；降低偏好估計(jì)器的方差可以分解為降低 ELBO 估計(jì)的方差，以及提高 π_θ 和 π_ref 的 ELBO 估計(jì)之間的相關(guān)性。據(jù)此，本研究提出并證明了以下方差縮減策略的有效性：

1. 提高蒙特卡洛估計(jì)的采樣預(yù)算；提高采樣預(yù)算能夠降低 ELBO 估計(jì)的方差。
2. 給定總采樣預(yù)算的最優(yōu)分配策略；在給定總采樣預(yù)算 n=n_t×n_(y_t) 下，當(dāng)采樣預(yù)算分配為采樣 n 個(gè)時(shí)間步、每個(gè)時(shí)間步采樣一個(gè)加噪樣本時(shí)，ELBO 估計(jì)的方差達(dá)到最小。
3. 對(duì)偶采樣策略。通過增加 π_θ 和 π_ref 所使用噪聲樣本之間的相關(guān)性，能夠進(jìn)一步降低梯度估計(jì)的方差。具體而言，在 ELBO 估計(jì)中，對(duì)于 π_θ 和 π_ref，應(yīng)當(dāng)共享相同的偏好數(shù)據(jù)的噪聲樣本和拒絕數(shù)據(jù)的噪聲樣本。

綜合上述策略，最終得到的方差縮減的偏好優(yōu)化方法如下右圖。對(duì)于每一個(gè)偏好數(shù)據(jù)對(duì)，在給定的采樣預(yù)算 n 下，采樣 n_t=n 個(gè)時(shí)間步，對(duì)于每個(gè)時(shí)間步采樣 1 個(gè)噪聲樣本，并在 π_θ 和 π_ref 間共享噪聲樣本，以進(jìn)行高效偏好估計(jì)。

總結(jié)與展望

本研究圍繞擴(kuò)散語言模型的偏好對(duì)齊任務(wù)，提出了方差縮減的偏好優(yōu)化方法 VRPO，并從理論分析與實(shí)際實(shí)驗(yàn)兩方面系統(tǒng)論證了該方法在有效降低梯度估計(jì)方差、提升模型對(duì)齊效果上的優(yōu)越性。基于 VRPO 優(yōu)化的 LLaDA 1.5 模型，在數(shù)學(xué)推理、代碼生成、模型對(duì)齊等多個(gè)任務(wù)上均實(shí)現(xiàn)了全面且穩(wěn)定的性能提升，驗(yàn)證了方法的通用性和有效性。

本研究提出的方差縮減算法 VRPO 主要以 DPO 為分析對(duì)象，但所提出的方法具有普適性，可被推廣應(yīng)用到其他涉及 ELBO 估算或強(qiáng)化對(duì)齊的算法中，為擴(kuò)散語言模型在強(qiáng)化對(duì)齊領(lǐng)域構(gòu)建了統(tǒng)一的理論與方法框架。