改變LoRA的初始化方式，北大新方法PiSSA顯著提升微調效果
隨著大模型的參數量日益增長，微調整個模型的開銷逐漸變得難以接受。
為此，北京大學的研究團隊提出了一種名為 PiSSA 的參數高效微調方法，在主流數據集上都超過了目前廣泛使用的 LoRA 的微調效果。
- 論文: PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
- 論文鏈接: https://arxiv.org/pdf/2404.02948.pdf
- 代碼鏈接: https://github.com/GraphPKU/PiSSA
如圖 1 所示，PiSSA (圖 1c) 在模型架構上和 LoRA [1] 完全一致 (圖 1b)，只是初始化 Adapter 的方式不同。LoRA 使用高斯噪聲初始化 A，使用 0 初始化 B。而 PiSSA 使用主奇異值和奇異向量 (Principal Singular values and Singular vectors) 來初始化 Adapter 來初始化 A 和 B。
圖 1）從左到右依次為全參數微調、LoRA、以及 PiSSA。藍色代表凍結的參數，橘黃色代表可訓練參數及它們的初始化方式。相比全參數微調，LoRA 和 PiSSA 都大幅節省了可訓練參數量。對于相同輸入，這三種方法的初始輸出完全相等。然而，PiSSA 凍結模型的次要成分，直接微調主成分（前 r 個奇異值和奇異向量）；而 LoRA 可看作凍結模型的主要部分，而去微調 noise 部分。
在不同的任務上對比 PiSSA、LoRA 的微調效果
研究團隊使用 llama 2-7B、Mistral-7B 以及 Gemma-7B 作為基礎模型，通過微調提升它們的數學、代碼和對話能力。其中包括：在 MetaMathQA 上訓練，在 GSM8K 和 MATH 數據集上驗證模型的數學能力；在 CodeFeedBack 上訓練，在 HumanEval 和 MBPP 數據集上驗證模型的代碼能力；在 WizardLM-Evol-Instruct 上訓練，在 MT-Bench 上驗證模型的對話能力。從下表的實驗結果可以看出，使用相同規模的可訓練參數，PiSSA 的微調效果顯著超越了 LoRA，甚至超越了全參數微調。
對比 PiSSA、LoRA 在不同的可訓練參數量下微調的效果
研究團隊在數學任務上對模型的可訓練參數量和效果之間的關系進行消融實驗。從圖 2.1 發現在訓練初期，PiSSA 的訓練 loss 下降特別快，而 LoRA 存在不下降，甚至略有上升的階段。此外，PiSSA 的訓練 loss 全程低于 LoRA，說明對訓練集擬合得更好；從圖 2.2、2.3、2.4 可以看出在每種 setting 下，PiSSA 的 loss 始終比 LoRA 低，準確率始終比 LoRA 高，PiSSA 能夠使用更少的可訓練參數追趕上全參數微調的效果。
圖 2.1） 當秩為 1 時 PiSSA、LoRA 在訓練過程中的 loss。每幅圖的右上角是前 100 步迭代放大的曲線。其中 PiSSA 用橙色線表示，LoRA 用藍色線表示，全參數微調用綠線展示了最終的 loss 作為參考。秩為 [2,4,8,16,32,64,128] 時的現象與此一致，詳見文章附錄。
圖 2.2）使用秩為 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 的最終 training loss。
圖 2.3）使用秩為 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 微調的模型在 GSM8K 上的準確率。
圖 2.4）使用秩為 [1,2,4,8,16,32,64,128] 的 PiSSA 和 LoRA 微調的模型在 MATH 上的準確率。
PiSSA 方法詳解
受到 Intrinsic SAID [2]“預訓練大模型參數具有低秩性” 的啟發，PiSSA 對預訓練模型的參數矩陣
進行奇異值分解，其中前 r 個奇異值和奇異向量用來初始化適配器 (adapter) 的兩個矩陣
和
，
；剩余的奇異值和奇異向量用來構造殘差矩陣
，使得
。因此，適配器中的參數包含了模型的核心參數，而殘差矩陣中的參數是修正參數。通過微調參數量較小的核心適配器 A、B，凍結參數量較大的殘差矩陣
，就達成了用很少的參數近似全參數微調的效果。
盡管同樣受到 Intrinsic SAID [1] 啟發，PiSSA 和 LoRA 背后的原理卻截然不同。
LoRA 認為大模型微調前后矩陣的變化 △W 具有很低的本征秩 r，因此通過
和
相乘得到的低秩矩陣來模擬模型的變化 △W。初始階段，LoRA 使用高斯噪聲初始化 A，使用 0 初始化 B，因此
，以此保證模型初始能力沒有變化，并微調 A 和 B 實現對 W 進行更新。與此相比，PiSSA 不關心 △W，而是認為 W 具有很低的本征秩 r。因此直接對 W 進行奇異值分解，分解成主成分 A、B，以及殘差項
，使得
。假設 W 的奇異值分解為
，A、B 使用 SVD 分解后奇異值最大的 r 個奇異值、奇異向量進行初始化：
殘差矩陣使用其余的奇異值、奇異向量進行初始化：
PiSSA 直接對 W 的低秩主成分 A、B 進行微調，凍結次要的修正項。相比 LoRA 用高斯噪聲以及 0 初始化適配器參數、凍結核心模型參數，PiSSA 收斂更快、效果更好。
PiSSA 的發音類似 “披薩”(pizza)--- 如果把整個大模型類比為一個完整的披薩，PiSSA 切掉其中一角，而且是餡料最豐富的一角（主奇異值、奇異向量），重新烘焙（在下游任務上微調）成喜歡的口味。
由于 PiSSA 采用了和 LoRA 完全相同的架構，其可以作為 LoRA 的一種可選初始化方式，在 peft 包中很方便的進行修改和調用 (如以下代碼所示)。相同的架構也使得 PiSSA 繼承了大多數 LoRA 的優點，如：對殘差模型使用 4bit 量化 [3]，減小訓練開銷；微調完成后適配器能合并進殘差模型，不改變推理過程的模型架構；無需分享完整模型參數，只需要分享參數量很少的 PiSSA 模塊，使用者直接加載 PiSSA 模塊就能自動進行奇異值分解以及賦值；一個模型可以同時使用多個 PiSSA 模塊等等。一些對 LoRA 方法的改進，也能與 PiSSA 進行結合：比如不固定每層的秩，通過學習找到最佳的秩 [4]；用 PiSSA 指導的更新 [5]，從而突破秩的限制等等。
# 在 peft 包中 LoRA 的初始化方式后面增加了一種 PiSSA 初始化選項：
if use_lora:
nn.init.normal_(self.lora_A.weight, std=1 /self.r)
nn.init.zeros_(self.lora_B.weight)
elif use_pissa:
Ur, Sr, Vr = svd_lowrank (self.base_layer.weight, self.r, niter=4)
# 注意：由于 self.base_layer.weight 的維度是 (out_channel,in_channel, 所以 AB 的順序相比圖示顛倒了一下)
self.lora_A.weight = torch.diag (torch.sqrt (Sr)) @ Vh.t ()
self.lora_B.weight = Ur @ torch.diag (torch.sqrt (Sr))
self.base_layer.weight = self.base_layer.weight - self.lora_B.weight @ self.lora_A.weight對比高中低奇異值微調效果實驗
為了驗證使用不同大小奇異值、奇異向量初始化適配器對模型的影響，研究人員分別使用高、中、低奇異值初始化 LLaMA 2-7B、Mistral-7B-v0.1、Gemma-7B 的適配器，然后在 MetaMathQA 數據集上進行微調，實驗結果展示在圖 3 中。從圖中可以看出，使用主要奇異值初始化的方法訓練損失最小，在 GSM8K 和 MATH 驗證集上的準確率更高。這一現象驗證了微調主要奇異值、奇異向量的有效性。
圖 3）從左到右依次為訓練 loss、在 GSM8K 上的準確率、在 MATH 上的準確率。其中藍色表示最大奇異值、橙色表示中等奇異值、綠色表示最小奇異值。
快速奇異值分解
PiSSA 繼承了 LoRA 的優點，使用起來方便，效果超越 LoRA。代價是在初始化階段，需要對模型進行奇異值分解。雖然僅需要在初始化時分解一次，但是仍然可能需要幾分鐘甚至幾十分鐘的開銷。因此，研究人員使用一種快速奇異值分解 [6] 方法替代標準的 SVD 分解，通過下表的實驗可以看出，僅需幾秒鐘的時間，就能逼近標準 SVD 分解的訓練集擬合效果。其中 Niter 表示迭代次數，Niter 越大，時間越久但是誤差越小。Niter = ∞表示標準 SVD。表格中的平均誤差表示快速奇異值分解與標準 SVD 得到的 A、B 之間的平均 L_1 距離。
總結與展望
本工作對預訓練模型的權重進行奇異值分解，通過將其中最重要的參數用于初始化一個名為 PiSSA 的適配器，微調這個適配器來近似微調完整模型的效果。實驗表明，PiSSA 比 LoRA 收斂更快，最終效果更好，唯一的代價僅是需要幾秒的 SVD 初始化過程。
那么，您愿意為了更好的訓練效果，多花幾秒鐘時間，一鍵更改 LoRA 的初始化為 PiSSA 嗎？
本文轉自 機器之心 ，作者：機器之心
