由于對大型語言模型，人工智能從業(yè)者經(jīng)常被問到這樣的問題：如何訓(xùn)練自己的數(shù)據(jù)？回答這個問題遠非易事。生成式人工智能的最新進展是由具有許多參數(shù)的大規(guī)模模型驅(qū)動的，而訓(xùn)練這樣的模型LLM需要昂貴的硬件（即許多具有大量內(nèi)存的昂貴GPU）和花哨的訓(xùn)練技術(shù)（例如，完全分片的數(shù)據(jù)并行訓(xùn)練）。

幸運的是，這些模型通常分兩個階段進行訓(xùn)練——預(yù)訓(xùn)練和微調(diào)。其中前一個階段（要）昂貴得多。鑒于高質(zhì)量的預(yù)訓(xùn)練LLMs很容易在網(wǎng)上獲得，大多數(shù)人工智能從業(yè)者可以簡單地下載一個預(yù)訓(xùn)練的模型，并專注于使這個模型（通過微調(diào)）適應(yīng)他們想要的任務(wù)。

“就所需的硬件和為不同任務(wù)托管獨立實例的存儲/交換成本而言，微調(diào)龐大的語言模型的成本高得令人望而卻步。”

模型的大小并沒有在微調(diào)過程中改變。因此微調(diào)一個LLM雖然比預(yù)訓(xùn)練便宜，可是也不是易事，仍然需要訓(xùn)練技術(shù)和硬件來處理這樣的模型。每次微調(diào)運行都會創(chuàng)建一個完全獨立的“副本”。

參數(shù)高效微調(diào)（PEFT）是微調(diào)一種比較好的技術(shù)，它不是端到端地訓(xùn)練完整的模型，而是固定預(yù)訓(xùn)練的模型權(quán)重，并且在微調(diào)期間僅調(diào)整少量特定于任務(wù)的參數(shù)。這種方法大大減少了內(nèi)存開銷，簡化了存儲/部署過程，并允許使用更易于訪問的硬件進行微調(diào)LLMs。

1.微調(diào)與轉(zhuǎn)移學(xué)習(xí)

首先先來明確兩個概念，微調(diào)和轉(zhuǎn)移學(xué)習(xí)。轉(zhuǎn)移學(xué)習(xí)是將一個通用的預(yù)訓(xùn)練模型應(yīng)用到全新的但是相關(guān)領(lǐng)域的過程。而微調(diào)是將通用的預(yù)訓(xùn)練模型進一步的訓(xùn)練。一般而言，微調(diào)是包含轉(zhuǎn)移學(xué)習(xí)的。

上圖展示了預(yù)訓(xùn)練，特征提取和微調(diào)的過程，預(yù)訓(xùn)練就是使用訓(xùn)練數(shù)據(jù)直接訓(xùn)練基礎(chǔ)模型，比較常見的有T5，BloombergGPT，GPT-4。特征提取一般是利用基礎(chǔ)模型進行內(nèi)容的Embedding，然后在另接其他的模型進行預(yù)測，例如Bert。微調(diào)是利用訓(xùn)練數(shù)據(jù)訓(xùn)練完基礎(chǔ)模型，然后采用微調(diào)技術(shù)（例如更新部分參數(shù)，更新所有層或者額外添加層）進行二次訓(xùn)練。

微調(diào)和Prompt Engineering（通過提示詞優(yōu)化結(jié)果，基礎(chǔ)模型的參數(shù)是凍結(jié)的，經(jīng)常在論文中會用雪花圖標(biāo)標(biāo)識）不同，它重新精校模型參數(shù)的數(shù)值。若是全部精校所有的參數(shù)，讀者需要大量的計算資源。

上圖為2018年的一篇論文的插圖，有三幅圖片分別代表著：a為預(yù)訓(xùn)練，b為全量參數(shù)微調(diào)，c為分類器微調(diào)。

Instruction-tuned就是全量微調(diào)中的一種，F(xiàn)LAN在基礎(chǔ)模型上面，通過指令調(diào)整（在通過指令描述的數(shù)據(jù)集集合上微調(diào)語言模型）可以顯著提高未見任務(wù)的零樣本性能。它采用 137B參數(shù)預(yù)訓(xùn)練語言模型，并在通過自然語言指令模板表達的60多個NLP數(shù)據(jù)集上對其進行指令調(diào)整。

FLAN 顯著提高了其未修改版本的性能，并在評估的25個數(shù)據(jù)集中的20個數(shù)據(jù)集上超越了零樣本175B GPT-3。FLAN 甚至在 ANLI、RTE、BoolQ、AI2-ARC、OpenbookQA和StoryCloze上的表現(xiàn)遠遠優(yōu)于少樣本 GPT-3。消融研究表明，微調(diào)數(shù)據(jù)集的數(shù)量、模型規(guī)模和自然語言指令是指令調(diào)整成功的關(guān)鍵。大白話而言，它將這些數(shù)據(jù)集根據(jù)不同的模版構(gòu)建不同的指令訓(xùn)練樣本，然后再次訓(xùn)練模型：

全量微調(diào)是美味的，但是若沒有太多的計算資源，那么存在兩種方法可以在有限的資源下將模型調(diào)教得較為服帖。一 種是X-shot Prompt，這點在介紹Dspy的時候說過了。另外一種是高效參數(shù)微調(diào)（微調(diào)部分參數(shù)），簡稱PEFT（Parameter-efficient fine tuning）。本系列還是會將重點放在PEFT的技術(shù)上面。

2.PEFT概覽

最后先來看看PEFT的技術(shù)分類和全景圖，大致可分為四類：

• Additive PEFT：通過注入新的可訓(xùn)練模塊或參數(shù)來修改模型架構(gòu)；Selective PEFT：使選擇部分的參數(shù)子集在微調(diào)期間可訓(xùn)練，其余的凍結(jié)；
• Reparameterization PEFT：將原來的參數(shù)重新結(jié)構(gòu)化，比如用低軼矩陣重新表示以進行訓(xùn)練，然后等效地將其轉(zhuǎn)換推理。
• Hybrid PEFT，它結(jié)合了不同PEFT方法的優(yōu)點，建立了一個統(tǒng)一的PEFT模型。

上圖為各種算法，都是圍繞著各種主流微調(diào)技術(shù)的微調(diào)方法，比如之前的文章已經(jīng)介紹過的LoRA，后續(xù)將圍繞這根主線開展學(xué)習(xí)之旅。

本文轉(zhuǎn)載自 ??魯班模錘??，作者： 龐德公