引言：微調效率的新視角

在大型語言模型（LLM）迅速發展的今天，如何在有限資源下高效微調模型成為了研究和應用的關鍵問題。傳統觀點認為，訓練數據的總令牌數是衡量數據規模的唯一標準，但康涅狄格大學的研究團隊提出了一個更為精細的視角：數據的組成結構同樣至關重要。

本文將深入分析Ryan Lagasse、Aidan Kiernans、Avijit Ghosh和Shiri Dori-Hacohen在論文《固定計算預算下LLM微調中令牌效率的縮放定律》中提出的創新理論。該研究首次明確考慮了數據組成對微調效果的影響，為資源受限環境下的LLM微調提供了全新的理論指導。

傳統縮放定律的局限性

大型語言模型的縮放定律已經被廣泛研究，如Hernandez等人(2021)和Hoffmann等人(2022)的工作證明了這些定律在預測大規模神經網絡性能方面的有效性。Zhang等人(2024)進一步將這些定律應用于微調場景。然而，這些研究往往將訓練數據簡化為單一指標——總令牌數，而忽略了數據內部的組成差異。

在實際應用中，研究人員和開發者常常面臨的不僅是數據量的限制，還有數據結構的多樣性。兩個總令牌數相同的數據集可能會因為一個包含大量短示例而另一個包含少量長示例而產生截然不同的微調效果。這種現象表明，我們需要一個能夠更準確捕捉微調動態的縮放定律。

數據集容量：重新定義有效數據規模

康涅狄格大學的研究團隊提出了一個創新概念——"數據集容量"(dataset volume)，用于更精確地描述訓練數據的有效規模。這一概念將總令牌數分解為示例數量(N)和平均令牌長度(L)的乘積：V = N·L。

雖然從數學上講，數據集容量等同于總令牌數，但這種分解明確強調了數據組成的重要性。研究團隊假設微調準確率的縮放方式可以表示為：

Accuracy = A·V^β·M^γ + E

其中：

• V是數據集容量(N·L)
• M是模型大小
• A、β、γ和E是根據既定程序調整的參數

這一公式不僅考慮了數據量和模型大小，還通過數據集容量的概念隱含地考慮了數據的組成結構，從而能夠更準確地預測微調性能。

實驗設計：驗證數據組成的影響

為了驗證數據組成對微調效果的影響，研究團隊設計了三種不同的子采樣策略：

1. few_long選擇相對較少的長令牌示例
2. many_short選擇大量短令牌示例
3. balanced在示例數量和令牌長度之間保持平衡

實驗在BRICC數據集和MMLU數據集的子集上進行，使用了四種不同規模的模型(135M、360M、500M和1B)，這些模型在Open LLM排行榜上表現優異。具體使用的模型包括SmolLM-135M-Instruct、SmolLM-360M-Instruct、Qwen2.5-0.5B-Instruct和Falcon3-1B-Instruct。

所有實驗都在固定計算預算下進行，確保了結果的可比性和實用性。

實驗結果：數據組成的決定性作用

實驗結果清晰地表明，數據組成對微調效果有顯著影響。下表展示了不同子采樣策略在BRICC數據集上的代表性性能：

從表中可以看出，即使總令牌數相近，不同的子采樣策略也會產生不同的微調效果。這證實了數據集容量(V)作為衡量數據有效規模的指標的重要性。

研究團隊還引入了標準化令牌效率的概念：

η_norm = (Accuracy - E) / (V·M^γ)

下圖展示了標準化令牌效率與模型大小的關系：

這一結果表明，當數據組成被適當考慮時，更大的模型能夠更有效地利用額外的令牌。

另一個關鍵發現是不同子采樣策略的準確率分布存在明顯差異：

這些結果進一步證實，子采樣策略（即數據組成）是微調結果的關鍵因素。

MMLU數據集上的驗證

為了進一步驗證提出的縮放定律和數據組成的重要性，研究團隊在MMLU數據集的子集上進行了額外實驗。這些實驗采用了與BRICC數據集相同的設置，結果同樣支持了數據組成對微調效果的顯著影響。

MMLU數據集上的實驗結果如下：

這些結果與BRICC數據集上的發現一致，進一步證實了數據組成對微調效果的決定性影響。

深入理解：數據組成如何影響微調效果

為什么數據組成對微調效果如此重要？這可能與語言模型的學習機制有關。不同的數據組成方式提供了不同的學習信號：

1. 多樣性與重復性的平衡：大量短示例可能提供更多樣的學習信號，而少量長示例可能提供更深入的上下文理解。
2. 注意力機制的影響：Transformer模型的注意力機制在處理不同長度的序列時可能有不同的效率。
3. 優化動態：不同的數據組成可能導致不同的優化軌跡，影響模型收斂到的局部最優解。
4. 泛化能力的培養：數據組成可能影響模型的泛化能力，特別是在處理未見過的輸入時。

這些因素共同作用，使得數據組成成為影響微調效果的關鍵因素。

實際應用：資源受限環境下的微調策略

這項研究的結果對于在資源受限環境下進行LLM微調具有重要的實踐意義。基于這些發現，我們可以提出以下微調策略：

1. 數據組成優化：根據可用計算資源和目標任務特性，優化數據集的組成結構，而不僅僅是追求更大的總令牌數。
2. 模型規模與數據匹配：根據數據集容量選擇適當規模的模型，以實現最佳的令牌效率。
3. 子采樣策略選擇：根據任務特性選擇合適的子采樣策略，例如，對于需要深入理解長文本的任務，可能更適合few_long策略；而對于需要廣泛知識的任務，可能更適合many_short策略。
4. 計算資源分配：在有限的計算資源下，合理分配資源用于數據處理和模型訓練，以實現最佳的微調效果。

這些策略可以幫助研究人員和開發者在資源受限的情況下更有效地微調LLM，提高模型性能。

研究局限性與未來方向

盡管這項研究提供了重要的見解，但仍存在一些局限性：

1. 模型多樣性：實驗僅使用了四種規模的模型，未來研究可以擴展到更多樣的模型架構和規模。
2. 任務多樣性：實驗主要在特定數據集上進行，未來研究可以擴展到更廣泛的任務和領域。
3. 計算效率：研究關注了令牌效率，但未深入探討計算效率，這是資源受限環境下的另一個重要考量。

未來研究可以在以下方向進一步拓展：

1. 量化和參數高效微調：將數據組成的影響擴展到量化和參數高效微調場景。
2. 動態數據組成：探索在微調過程中動態調整數據組成的策略。
3. 跨領域泛化：研究數據組成對模型跨領域泛化能力的影響。
4. 多模態擴展：將數據集容量的概念擴展到多模態學習場景。

結論

康涅狄格大學的研究團隊通過引入數據集容量的概念，為LLM微調中的令牌效率提供了一個新的縮放定律。這一定律明確考慮了數據組成對微調效果的影響，為在資源受限環境下進行高效微調提供了理論指導。

實驗結果表明，數據組成——示例數量與平均令牌長度的組合——對微調效果有顯著影響。這一發現挑戰了傳統僅關注總令牌數的觀點，為LLM微調提供了更細致的理論框架。

通過捕捉數據集組成和模型大小之間的相互作用，這一縮放定律框架為實踐者提供了可行的見解，并為未來的擴展奠定了基礎，包括量化和參數高效的訓練方案。

論文：????https://arxiv.org/abs/2505.06150???

本文轉載自??頓數AI??，作者：蔥蔥