還在為大模型推理速度慢、成本高而煩惱嗎？這篇來自 CMU 和清華大學(xué)的論文給你帶來了一個顛覆性的解決方案！ 他們發(fā)現(xiàn)，在推理大型語言模型時，“大力出奇跡”不再是真理！ 通過深入研究推理過程中的計算與性能關(guān)系，他們提出了“推理縮放定律”，并革命性地推出了一種名為 REBASE 的全新算法。

REBASE 就像一位聰明的向?qū)В軌蚯擅畹乩锚剟钚盘枺敢Ｐ驮谕评淼拿詫m中高效探索，避免了傳統(tǒng)方法中耗時費(fèi)力的盲目搜索。 實驗結(jié)果令人驚嘆：在數(shù)學(xué)推理任務(wù)上，REBASE 搭配小模型，不僅速度更快，而且精度更高，輕松擊敗了更大的模型！

這篇論文的意義不僅僅在于提出了一種新算法，更在于它顛覆了我們對大模型推理的傳統(tǒng)認(rèn)知，為我們指明了一條通往更高效、更經(jīng)濟(jì)的 AI 之路。 想要了解如何讓你的大模型推理效率飆升？快來閱讀這篇論文，一起探索 LLM 推理的奧秘吧！

一、概述

? Title: INFERENCE SCALING LAWS: AN EMPIRICAL ANALYSIS OF COMPUTE-OPTIMAL INFERENCE FOR LLM PROBLEM-SOLVING

? URL: https://arxiv.org/abs/2408.00724

? Authors: Yangzhen Wu, Zhiqing Sun, Shanda Li, Sean Welleck, Yiming Yang

? Code: https://thu-wyz.github.io/inference-scaling/

1.Motivation

? 目前關(guān)于大型語言模型 (LLM) 的研究主要集中在訓(xùn)練階段的縮放定律上，而對于推理階段的最佳配置研究較少。

? 現(xiàn)有的推理技術(shù)通常需要在推理時增加額外的計算，以最大化性能，但這些技術(shù)的計算成本必須考慮在內(nèi)，以實現(xiàn)計算最優(yōu)推理。

? 傳統(tǒng)的采樣算法會有性能上限（論文Figure 1），需要更好的推理算法來取得更好的結(jié)果。

2.Methods

文章評估了不同模型大小和推理算法在數(shù)學(xué)推理基準(zhǔn)測試上的性能，設(shè)計了一個新的樹搜索算法REBASE，該算法在計算效率上優(yōu)于常用的采樣和MCTS方法。

2.1 省流版總結(jié):

核心思想： 研究在給定計算預(yù)算下，如何選擇最優(yōu)的語言模型大小和有效的推理策略，以最大化問題解決的準(zhǔn)確性。

創(chuàng)新點(diǎn)： 提出了一個新的樹搜索算法REBASE（Reward Balanced Search），該算法與加權(quán)投票結(jié)合使用，能夠在準(zhǔn)確性和推理計算量之間實現(xiàn)帕累托最優(yōu)的權(quán)衡。

帕累托最優(yōu)的權(quán)衡意味著：

? REBASE 算法在給定的計算預(yù)算下，能夠獲得最佳的性能（例如，最高的數(shù)學(xué)問題解決準(zhǔn)確率）。

? 如果你想進(jìn)一步提高準(zhǔn)確率，你就必須增加計算預(yù)算（例如，生成更多的 tokens，進(jìn)行更多的搜索）。

? 如果你想減少計算預(yù)算，你就必須接受較低的準(zhǔn)確率。

2.2 REBASE詳細(xì)方法和步驟:

目標(biāo)： 在給定固定計算預(yù)算的情況下，如何選擇最優(yōu)的模型大小和推理策略，以最大化模型在特定任務(wù)上的性能。

2.2.1 REBASE 算法是干什么的的？

為了解決 MCTS 的計算成本高問題，論文提出了新的樹搜索算法 REBASE。REBASE 通過獎勵模型來控制節(jié)點(diǎn)的擴(kuò)展，從而避免了 MCTS 中顯式的 rollout 步驟。

REBASE 算法避免 MCTS 中顯式 rollout 步驟的關(guān)鍵在于它巧妙地利用了獎勵模型 (Reward Model) 和 平衡擴(kuò)展 (Balanced Expansion) 策略。

2.2.2 MCTS 的 Rollout 步驟有什么問題？

在傳統(tǒng)的 MCTS 中，為了評估一個節(jié)點(diǎn)的價值，需要進(jìn)行 rollout（模擬）。Rollout 是指從當(dāng)前節(jié)點(diǎn)開始，根據(jù)某種策略（例如隨機(jī)策略或基于模型的策略）模擬生成多個完整的解決方案，然后根據(jù)這些解決方案的結(jié)果來估計該節(jié)點(diǎn)的價值。

Rollout 的問題在于：

• 計算成本高: Rollout 需要生成多個完整的解決方案，這在計算上非常昂貴，特別是當(dāng)解決方案很長時。
• 估計偏差: Rollout 使用的策略可能與實際的策略不同，這會導(dǎo)致價值估計存在偏差。

2.2.3 REBASE 如何利用獎勵模型控制節(jié)點(diǎn)擴(kuò)展？

REBASE 摒棄了顯式的 rollout 步驟，而是直接使用過程獎勵模型 (PRM) 來評估節(jié)點(diǎn)的質(zhì)量。具體來說，REBASE 在每次迭代中執(zhí)行以下步驟：

• 獎勵分配 (Reward Assignment):

對于當(dāng)前深度 i 的每個節(jié)點(diǎn) nj，REBASE 使用 PRM 來計算該節(jié)點(diǎn)的獎勵 R(nj)。這個獎勵反映了從根節(jié)點(diǎn)到節(jié)點(diǎn) nj 的部分解決方案的質(zhì)量。注意，這里直接利用了 PRM 的輸出，而不需要進(jìn)行 rollout。

• 平衡擴(kuò)展 (Balanced Expansion):

Wj = Round ( Bi * exp(R(nj) / Tb) / Σk exp(R(nk) / Tb) )

其中：

直觀理解： 這個公式的含義是，每個節(jié)點(diǎn)的擴(kuò)展寬度與該節(jié)點(diǎn)的獎勵的指數(shù)成正比。獎勵越高的節(jié)點(diǎn)，其指數(shù)值越大，因此獲得的擴(kuò)展寬度也越大。通過這種方式，REBASE 將更多的計算資源分配給更有希望的節(jié)點(diǎn)。

Bi 是深度 i 的可用采樣預(yù)算（即還可以生成的總節(jié)點(diǎn)數(shù)）。

R(nj) 是節(jié)點(diǎn) nj 的獎勵。

Tb 是一個平衡溫度參數(shù)，用于控制擴(kuò)展的“平滑”程度。較高的 Tb 會導(dǎo)致更均勻的擴(kuò)展，而較低的 Tb 會導(dǎo)致更集中于高獎勵節(jié)點(diǎn)的擴(kuò)展。

Round() 函數(shù)將結(jié)果四舍五入到最接近的整數(shù)。

分母 Σk exp(R(nk) / Tb) 對所有節(jié)點(diǎn) nk 的獎勵進(jìn)行 softmax 歸一化，確保所有節(jié)點(diǎn)的擴(kuò)展寬度之和等于 Bi。

REBASE 的目標(biāo)是根據(jù)節(jié)點(diǎn)的獎勵來“平衡”地擴(kuò)展節(jié)點(diǎn)。這意味著獎勵越高的節(jié)點(diǎn)，將被分配越多的計算資源（即擴(kuò)展出更多的子節(jié)點(diǎn)）。

具體來說，REBASE 計算每個節(jié)點(diǎn) nj 的擴(kuò)展寬度 Wj，公式如下：

• 節(jié)點(diǎn)擴(kuò)展 (Node Expansion):

根據(jù)計算出的擴(kuò)展寬度 Wj，REBASE 從策略模型 πθ 中采樣 Wj 個子節(jié)點(diǎn)，作為節(jié)點(diǎn) nj 的子節(jié)點(diǎn)。

2.2.4 總結(jié)一下REBASE方法的改進(jìn)點(diǎn)

REBASE 通過以下方式避免了 MCTS 的 rollout 步驟：

? 直接使用獎勵模型評估節(jié)點(diǎn)質(zhì)量: 無需進(jìn)行耗時的 rollout 模擬。

? 基于獎勵模型進(jìn)行平衡擴(kuò)展: 根據(jù)節(jié)點(diǎn)的獎勵動態(tài)分配計算資源，將更多資源分配給更有希望的節(jié)點(diǎn)，從而更有效地利用計算預(yù)算。

通過這種方式，REBASE 在保持樹搜索的“探索”和“利用”特性的同時，顯著降低了計算成本，使其在準(zhǔn)確性和計算效率之間取得了更好的平衡，從而實現(xiàn)了帕累托最優(yōu)的權(quán)衡。

3.Conclusion

? 較小的模型（例如 Llemma-7B）在相同的計算預(yù)算下可以勝過較大的模型，并且較小的模型與先進(jìn)的推理算法相結(jié)合可以產(chǎn)生帕累托最優(yōu)的成本性能權(quán)衡。

? 論文提出的 REBASE 算法在所有測試的計算預(yù)算中都實現(xiàn)了最佳性能，優(yōu)于常用的加權(quán)多數(shù)投票（Majority Voting）和 MCTS 方法。

? 通過采樣更多的樣本，基于采樣的多數(shù)投票策略不可避免地會飽和到一個取決于底層生成策略的分布。因此，通過設(shè)計替代推理策略來改變采樣分布是有意義的。

4.Limitation

? 該分析主要針對數(shù)學(xué)問題解決，推理縮放規(guī)律和計算優(yōu)化推理在其他任務(wù)中是否適用還有待進(jìn)一步研究。

? 在GSM8K和MATH500數(shù)據(jù)集上的評估可能不足以泛化到其他任務(wù)和數(shù)據(jù)集。

? 模型大小和推理策略的探索仍然存在局限性。

二、詳細(xì)情況

1.實驗設(shè)置

其他推理策略對比： 論文主要考慮了以下幾種推理策略：

? 貪婪搜索（Greedy Search）：每次選擇概率最高的token。

? Best-of-n：生成多個候選答案，選擇得分最高的答案。

? 多數(shù)投票（Majority Voting）：生成多個候選答案，選擇出現(xiàn)頻率最高的答案。

? 加權(quán)多數(shù)投票（Weighted Majority Voting）：根據(jù)獎勵模型給出的分?jǐn)?shù)對候選答案進(jìn)行加權(quán)，然后進(jìn)行投票。

? 樹搜索算法（Tree Search）：包括 MCTS 和作者提出的 REBASE。

模型和數(shù)據(jù)集：

? 使用了 Pythia 和 Llemma 系列的多種大小的模型，并在數(shù)學(xué)推理基準(zhǔn)測試集 GSM8K 和 MATH500 上進(jìn)行了實驗。

? 使用 MetaMath 數(shù)據(jù)集對模型進(jìn)行微調(diào)。

理論分析：

? 對基于采樣的投票方法進(jìn)行了理論分析，表明隨著采樣次數(shù)的增加，準(zhǔn)確率會收斂到一個極限，這個極限取決于語言模型和獎勵模型的分布。

實驗評估：

? 通過實驗，論文比較了不同模型大小和推理策略在不同計算預(yù)算下的性能。結(jié)果表明，較小的模型與高級的推理算法相結(jié)合可以實現(xiàn)帕累托最優(yōu)的成本效益。

2.最優(yōu)錯誤率和模型大小以及預(yù)算的關(guān)系

2.1 錯誤率和計算量以及模型大小的關(guān)系（左）

? 隨著計算量的增加，錯誤率下降： 所有的曲線都顯示，隨著推理計算量的增加 (即橫軸向右移動)，錯誤率逐漸下降，說明模型性能在提升。這是因為增加計算量通常意味著模型可以進(jìn)行更多的采樣，從而找到更好的解。

? 模型性能最終趨于飽和： 每條曲線最終都趨于平緩，說明模型性能有一個極限。增加更多的計算量后，錯誤率的下降幅度會變得越來越小，最終趨于飽和。

? 不同大小的模型在不同階段表現(xiàn)不同： 在計算量較少的時候，較小的模型 (例如 410M, 1.4B) 下降速度可能更快。隨著計算量增加，較大模型 (例如 6.9B, 12B) 會逐漸展現(xiàn)出更好的性能，但其飽和也需要更大的計算量。

2.2 最佳模型大小和預(yù)算的關(guān)系（右）

? 最佳模型大小隨計算預(yù)算變化： 圖中顯示，在不同的推理計算量預(yù)算下，最佳的模型大小是不同的。

例如，在較小的計算量預(yù)算下 (241 和 244 FLOPs)，較小的模型可能是最優(yōu)的。

隨著計算預(yù)算的增加 (247 FLOPs)，較大的模型可能表現(xiàn)更優(yōu)。

? 小模型在較低計算量下表現(xiàn)出色： 如圖中所示，在 241 和 244 FLOPs 的計算量下，較小的模型是計算最優(yōu)的。這意味著，如果計算資源有限，與其使用大模型，不如使用小模型搭配適當(dāng)?shù)耐评聿呗钥赡苄Ч谩?/p>

3.REBASE 算法在計算效率上有明顯優(yōu)勢（7B模型+REBASE算法可以超過MCTS等方法）

方法：在 MATH 數(shù)據(jù)集上，對比不同推理策略 (weighted majority voting 和 best-of-n) 和不同模型大小對模型性能的影響 。

結(jié)論：

? 在 MATH 數(shù)據(jù)集上，REBASE 算法在不同的推理策略（加權(quán)多數(shù)投票和最佳 n 選 1）下，均優(yōu)于其他方法（包括傳統(tǒng)的采樣和 MCTS）。

? REBASE 算法的優(yōu)越性不僅僅局限于特定的模型大小，其在使用 7B 模型時通常能夠達(dá)到最佳的性能。

? MCTS 方法在數(shù)學(xué)推理任務(wù)中，性能不如其他方法。

4.REBASE 算法可以在更低的計算預(yù)算下實現(xiàn)更高的準(zhǔn)確率

? 列: 包括 # SAMPLES (采樣數(shù)量), FLOPS (推理計算量) 和 MATH500 (在 MATH500 數(shù)據(jù)集上的準(zhǔn)確率) 三列。

? 行: 比較了使用采樣方法和 REBASE 算法在不同模型 (Mistral-7B, Llemma-7B, Llemma-34B) 下的性能。

總結(jié):

? REBASE 算法可以在更低的計算預(yù)算下實現(xiàn)更高的準(zhǔn)確率: 對于所有模型，REBASE 算法在使用更少的樣本和更低的計算量 (FLOPS) 的情況下，都比采樣方法實現(xiàn)了更高的 MATH500 準(zhǔn)確率。

? 驗證了 REBASE 的高效性： 這個表格用具體數(shù)值驗證了 REBASE 的高效性，即能夠在降低計算成本的同時，實現(xiàn)更高的性能。

5.消融實驗

實驗說明：

? Sampling W.M.：使用采樣方法和加權(quán)多數(shù)投票策略。

? Sampling BoN：使用采樣方法和 best-of-n 策略。

? REBASE W.M.：使用 REBASE 算法和加權(quán)多數(shù)投票策略。

? REBASE BoN：使用 REBASE 算法和 best-of-n 策略。

實驗結(jié)論：

? REBASE 算法性能普遍優(yōu)于采樣： 在所有模型 (Llemma-7B, Llemma-34B, Mistral-7B) 和所有計算預(yù)算下，使用 REBASE 算法 (無論是加權(quán)多數(shù)投票還是 best-of-n) 的曲線都低于使用采樣方法的曲線，說明 REBASE 算法性能更佳。

? REBASE + 加權(quán)多數(shù)投票 策略表現(xiàn)最佳： REBASE 算法配合加權(quán)多數(shù)投票策略通常可以達(dá)到最優(yōu)的性能。

? 不同模型之間在相同策略下，性能隨計算預(yù)算增加有差異： 例如，在低預(yù)算下，Llemma-7B 在 REBASE 策略下表現(xiàn)可能更好；在高預(yù)算下，不同模型之間的差距可能縮小。

三、總結(jié)

結(jié)論1: 計算最優(yōu)的推理策略依賴于模型大小和計算預(yù)算。 論文表明，在推理時使用更小的模型并進(jìn)行多次采樣，在計算成本方面可能比使用更大的模型更有效。此外，論文提出的REBASE算法在多個數(shù)據(jù)集上優(yōu)于MCTS方法和傳統(tǒng)的采樣方法。 

結(jié)論2: 基于采樣的投票策略具有性能上限，需要更復(fù)雜的推理算法。 論文的理論分析表明，基于采樣的投票方法（如多數(shù)投票和加權(quán)多數(shù)投票）在計算預(yù)算增加時，性能會飽和，且達(dá)到一個基于底層生成策略的極限，這表明了需要更復(fù)雜的推理策略。 

結(jié)論3: REBASE算法在計算效率和準(zhǔn)確率方面都有優(yōu)勢。 REBASE算法通過獎勵模型來控制節(jié)點(diǎn)的擴(kuò)展，從而避免了顯式的rollout，從而在計算效率上優(yōu)于MCTS。同時，其性能在所有測試的計算預(yù)算下優(yōu)于采樣方法。

本文轉(zhuǎn)載自 ??NLP PaperWeekly??，作者： NLP PaperWeekly