養育孩子時，古往今來人們都會談到一種重要方法：以身作則。也就是讓自己成為孩子模仿學習的范例，而不是單純地告訴他們應該怎么做。在訓練大語言模型（LLM）時，我們或許也能采用這樣的方法 —— 向模型進行演示。

近日，斯坦福大學楊笛一團隊提出了一種新框架 DITTO，可通過少量演示（用戶提供的期望行為示例）來將 LLM 與特定設置對齊。這些示例可以從用戶現有的交互日志獲取，也能通過直接編輯 LLM 的輸出得到。這樣就可以讓模型針對不同的用戶和任務高效地理解并對齊用戶偏好。

• 論文標題：Show, Don’t Tell: Aligning Language Models with Demonstrated Feedback
• 論文地址：https://arxiv.org/pdf/2406.00888

DITTO 可基于少量演示（少于 10）自動創建一個包含大量偏好比較數據的數據集（這個過程被稱為 scaffold），其具體做法是默認這一點：相比于原始 LLM 及早期迭代版本的輸出，用戶更偏好演示。然后，將演示與模型輸出組成數據對，得到增強數據集。之后便可以使用 DPO 等對齊算法來更新語言模型。

此外，該團隊還發現，DITTO 可被視為一種在線模仿學習算法，其中從 LLM 采樣的數據會被用于區分專家行為。從這一角度出發，該團隊證明 DITTO 可通過外推實現超越專家的表現。

該團隊也通過實驗驗證了 DITTO 的效果。

DITTO 框架

為了對齊 LLM，此前的各類方法往往需要使用成千上萬對比較數據，而 DITTO 僅需使用少量演示就能修改模型的行為。這種低成本的快速適應之所以能實現，主要得益于該團隊的核心見解：可通過演示輕松獲取在線比較數據。

符號和背景 

語言模型可被視為一個策略 π(y|x)，這會得到 prompt x 和完成結果 y 的一個分布。RLHF 的目標是訓練 LLM 以最大化一個獎勵函數 r (x, y)，其評估的是 prompt - 完成結果對 (x, y) 的質量。通常來說，還會添加一個 KL 散度，以防止更新后的模型偏離基礎語言模型（π_ref）太遠。總體而言，RLHF 方法優化的目標為：

這是最大化在 prompt 分布 p 上的預期獎勵，而 p 則受 α 調節的 KL 約束的影響。通常而言，優化這一目標使用的是形式為 {(x, y^w, y^l )} 的比較數據集，其中「獲勝」的完成結果 y^w 優于「失敗」的完成結果 y^l，記為 y^w ? y^l。

另外，這里把小型專家演示數據集記為 D_E，并假設這些演示是由專家策略 π_E 生成的，其能最大化預測獎勵。DITTO 能直接使用語言模型輸出和專家演示來生成比較數據。也就是說，不同于合成數據的生成范式，DITTO 無需在給定任務上已經表現很好的模型。

關鍵思路

DITTO 的關鍵見解在于語言模型本身，再加上專家演示，可以得到用于對齊的比較數據集，這樣就無需收集大量成對的偏好數據了。這會得到一個類似對比的目標，其中專家演示是正例。

生成比較。假定我們從專家策略采樣了一個完成結果 y^E ～ π_E (?|x) 。那么可以認為，從其它策略 π 采樣的樣本對應的獎勵都低于或等于從 π_E 采樣的樣本的獎勵。基于這一觀察，該團隊構建了比較數據 (x, y^E, y^π )，其中 y^E ? y^π。盡管這樣的比較數據源自策略而不是各個樣本，但之前已有研究證明了這種方法的有效性。對 DITTO 來說，一個很自然的做法就是使用這個數據集以及一個現成可用的 RLHF 算法來優化 (1) 式。這樣做能在提升專家響應的概率同時降低當前模型樣本的概率，這不同于標準微調方法 —— 只會做前者。關鍵在于，通過使用來自 π 的樣本，可使用少量演示就構建出無邊界的偏好數據集。但是，該團隊發現，通過考慮學習過程的時間方面，還能做到更好。

從比較到排名。僅使用來自專家和單個策略 π 的比較數據，可能不足以獲得優良性能。這樣做只會降低特定 π 的可能性，導致過擬合問題 —— 這也困擾著少數據情況下的 SFT。該團隊提出還可以考慮 RLHF 期間隨時間而學習到的所有策略所生成的數據，這類似于強化學習中的 replay（重放）。

令第一輪迭代時的初始策略為 π_0。通過采樣該策略可得到一個數據集 D_0。然后可以基于此生成一個用于 RLHF 的比較數據集，可記為 D_E ? D_0。使用這些導出的比較數據，可以對 π_0 進行更新而得到 π_1。根據定義，也成立。之后，繼續使用 π_1 生成比較數據，并且 D_E ? D_1。繼續這一過程，不斷使用之前的所有策略生成越來越多樣化的比較數據。該團隊將這些比較數據稱為「重放比較數據（replay comparisons）」。

盡管這種方法理論上說得通，但如果 D_E 較小，卻可能出現過擬合。但是，如果假設每一輪迭代后策略都會獲得提升，則也可在訓練期間考慮策略之間的比較。不同于與專家的比較，我們并不能保證每一輪迭代之后策略都更好，但該團隊發現模型每次迭代后總體依然是提升的，這可能是是因為獎勵建模和 (1) 式都是凸的。這樣便可以依照以下的排名來采樣比較數據：

通過添加這些「模型間」和「重放」比較數據，得到的效果是早期樣本（比如 D_1 中的樣本）的似然會比后期的（如 D_t 中的）壓得更低，從而使隱含的獎勵圖景變得平滑。在實踐實現中，該團隊的做法是除了使用與專家的比較數據，也聚合了一些這些模型間比較數據。

一個實踐算法。在實踐中，DITTO 算法是一個迭代過程，其由三個簡單的組件構成，如算法 1 所示。

首先，在專家演示集上運行監督式微調，執行數量有限的梯度步驟。將這設為初始策略 π_0. 第二步，采樣比較數據：在訓練過程中，對于 D_E 中的 N 個演示中的每一個，通過從 π_t 采樣 M 個完成結果而構建一個新的數據集 D_t，然后根據策略 (2) 式將它們添加到排名中。當從 (2) 式采樣比較數據時，每一批 B 都由 70% 的「在線」比較數據 D_E ? D_t、20% 的「重放」比較數據 D_E ? D_{i<t} 以及 10% 的「模型間比較數據」D_{i≤t} ? D_{j<i}。最后，使用 RLHF 更新該策略。具體來說，該團隊的做法是使用 DPO 損失函數，通過前述流程采樣的數據批來更新 π_t，從而得到 π_{t+1}：

其中 σ 是來自 Bradley-Terry 偏好模型的 logistic 函數。在每次更新期間，來自 SFT 策略的參考模型都不會更新，以避免偏離初始化過遠。

將 DITTO 推導成在線模仿學習

DITTO 可通過在線模仿學習角度推導出來，其中組合使用專家演示和在線數據來同時學習獎勵函數和策略。具體來說，策略玩家會最大化預期獎勵 ?? (π, r)，而獎勵玩家則會最小化在在線數據集 D^π 上的損失 min_r L (D^π , r) 更具體而言，該團隊的做法是使用 (1) 式中的策略目標和標準的獎勵建模損失來實例化該優化問題：

推導 DITTO，簡化 (3) 式的第一步是解決其內部策略最大化問題。幸運的是，該團隊基于之前的研究發現策略目標 ??_KL 有一個閉式解，其形式為，其中 Z (x) 用于歸一化分布的配分函數。值得注意的是，這會在策略和獎勵函數之間建立一種雙射關系，這可以被用于消除內部優化。通過重新排列這個解，可將獎勵函數寫成：

此外，之前有研究表明這種重新參數化可以表示任意獎勵函數。于是，通過代入到 (3) 式，可以將變量 r 變成 π，從而得到 DITTO 目標：

請注意，類似于 DPO，這里是隱式地估計獎勵函數。而不同于 DPO 的地方是 DITTO 依賴一個在線的偏好數據集 D^π。

為什么 DITTO 比僅使用 SFT 好？

DITTO 表現更好的一個原因是：通過生成比較數據，其使用的數據量遠多于 SFT。另一個原因是在某些情況下，在線模仿學習方法的表現會超過演示者，而 SFT 只能模仿演示。 

實驗結果

該團隊也進行了實證研究，證明了 DITTO 的有效性。實驗的具體設置請參閱原論文，我們這里僅關注實驗結果。

基于靜態基準的研究結果 

靜態基準的評估使用了 GPT-4，結果見表 1。

平均而言，DITTO 勝過其它所有方法：在 CMCC 上平均勝率為 71.67%，在 CCAT50 上平均勝率為 82.50%；總體平均勝率為 77.09%。在 CCAT50 上，對于所有作者，DITTO 僅在其中一個上沒有取得全面優勝。在 CMCC 上，對于所有作者，DITTO 全面勝過其中一半基準，之后是 few-shot prompting 贏得 3 成。盡管 SFT 的表現很不錯，但 DITTO 相較于其的平均勝率提升了 11.7%。

用戶研究：測試泛化到自然任務的能力

總體而言，用戶研究的結果與在靜態基準上的結果一致。DITTO 在對齊演示的偏好方面優于對比方法，如表 2 所示：其中 DITTO (72.1% 勝率) > SFT (60.1%) > few-shot (48.1%) > self-prompt (44.2%) > zero-shot (25.0%)。

DITTO 在什么時候有用？ 

在使用 DITTO 之前，用戶必須考慮一些前提條件，從他們有多少演示到必須從語言模型采樣多少負例。該團隊探索了這些決定的影響，并重點關注了 CMCC，因為其覆蓋的任務超過 CCAT。此外，他們還分析了演示與成對反饋的樣本效率。

算法擾動 

該團隊對 DITTO 的組件進行了消融研究。

如圖 2（左）所示，增加 DITTO 的迭代次數通常可以提升性能。

可以看到，當迭代次數從 1 次提升到 4 次，GPT-4 評估的勝率會有 31.5% 的提升。這樣的提升是非單調的 —— 在第 2 次迭代時，性能稍有降低（-3.4%）。這是因為早期的迭代可能會得到噪聲更大的樣本，從而降低性能。另一方面，如圖 2（中）所示，增加負例數量會使 DITTO 性能單調提升。此外，隨著采樣的負例增多，DITTO 性能的方差會下降。

另外，如表 3 所示，對 DITTO 的消融研究發現，去掉其任何組件都會導致性能下降。

比如如果放棄在線方式的迭代式采樣，相比于使用 DITTO，勝率會從 70.1% 降至 57.3%。而如果在在線過程中持續更新 π_ref，則會導致性能大幅下降：從 70.1% 降至 45.8%。該團隊猜想其原因是：更新 π_ref 可能會導致過擬合。最后，我們也能從表 3 中看到重放和策略間比較數據的重要性。

樣本效率 

DITTO 的一大關鍵優勢是其樣本效率。該團隊對此進行了評估，結果見圖 2（右）；同樣，這里報告的是歸一化后的勝率。

首先可以看到，DITTO 的勝率一開始會快速提升。在演示數量從 1 變成 3 時，每次增加都會讓歸一化性能大幅提升（0% → 5% → 11.9%）。

但是，當演示數量進一步增加時，收益增幅降低了（從 4 增至 7 時為 11.9% → 15.39%），這說明隨著演示數量增加，DITTO 的性能會飽和。

另外，該團隊猜想，不止演示數量會影響 DITTO 的性能，演示質量也會，但這還留待未來研究。

成對偏好與演示相比如何？

DITTO 的一個核心假設是樣本效率源自于演示。理論上講，如果用戶心中有一套完美的演示集合，通過標注許多成對的偏好數據也能實現類似的效果。

該團隊做了一個近似實驗，使用從指令遵從 Mistral 7B 采樣的輸出，讓一位提供了用戶研究的演示的作者也標注了 500 對偏好數據。

總之，他們構建了一個成對的偏好數據集 D_pref = {(x, y^i , y^j )}，其中 y^i ? y^j。然后他們計算了采樣自兩個模型的 20 對結果的勝率情況 —— 其一是使用 DITTO 在 4 個演示上訓練的，其二是僅使用 DPO 在 {0...500} 偏好數據對訓練的。

當僅從 π_ref 采樣成對偏好數據時，可以觀察到生成的數據對位于演示的分布外 —— 成對的偏好不涉及用戶演示的行為（圖 3 中 Base policy 的結果，藍色）。即使當他們使用用戶演示對 π_ref 進行微調時，仍然需要超過 500 對偏好數據才能比肩 DITTO 的性能（圖 3 中 Demo-finetuned policy 的結果，橙色）。