大模型應用開卷，連一向保守的蘋果，都已釋放出發展端側大模型的信號。

問題是，大語言模型（LLM）卓越的表現取決于“力大磚飛”，如何在資源有限的環境中部署大模型并保障性能，仍然頗具挑戰。

以對大模型進行量化+LoRA的路線為例，有研究表明，現有方法會導致量化的LLM嚴重退化，甚至無法從LoRA微調中受益。

為了解決這一問題，來自蘇黎世聯邦理工學院、北京航空航天大學和字節跳動的研究人員，最新提出了一種信息引導的量化后LLM微調新算法IR-QLoRA。論文已入選ICML 2024 Oral論文。

論文介紹，IR-QLoRA能有效改善量化導致的大模型性能退化。在LLaMA和LLaMA 2系列中，用該方法微調的2位模型，相比于16位模型僅有0.9%的精度差異。

△IR-QLoRA框架圖

該方法的核心思想，是通過信息保留來使LoRA微調量化的大語言模型實現精度提升。

包含從統一信息角度衍生的兩種技術：信息校準量化和信息彈性連接。

信息校準量化

LLM的量化權重被期望反映原始對應方所攜帶的信息，但比特寬度的減小嚴重限制了表示能力。從信息的角度來看，量化LLM和原始LLM的權重之間的相關性表示為互信息。

在LLM量化后，由于比特寬度的顯著減小導致表示能力的降低，量化權重的熵遠小于原始權重的熵。因此，優先考慮低比特權重內的信息恢復對于增強量化LLM至關重要。

首先從數學上定義信息校準的優化目標。校準過程可以看為向量化器引入一個校準常數 

 以最大化信息，量化過程可以表述如下：

由于原始權重 是固定的，公式(1)中的優化目標可以表示為：

由于直接求解公式(3)中的目標非常耗時，作者提出了一種分塊校準量化器信息的兩步策略：

第一步是初始化校準常數 

。基于神經網絡權重正態分布的常見假設，將每個權重量化塊的常數初始化為中值 

。由于正態分布中靠近對稱軸的區域的概率密度較高，因此該初始化旨在更大程度地利用量化器的間隔。應用位置相關中值來初始化 

，以減輕異常值的影響。

第二步是優化校準常數 、量化尺度 、雙量化尺度 。使用信息熵作為度量，并進行基于搜索的優化以獲得 。通過將 

 線性劃分為n個候選來創建  的搜索空間，其中  是標準差， 是系數。使用每個候選  校準權重后，量化校準的權重并計算信息熵。獲得的量化尺度與基線一致。通過 

 得到量化尺度 

，然后二次量化為 

 和 

。

對于優化后的校準常數 ，執行類似于尺度的雙量化以節省內存，信息校準量化的量化過程可以總結為：

信息彈性連接

除了基線中的量化LLM之外，由低秩矩陣組成的LoRA也阻礙了信息的恢復，為了增強LoRA的表示能力，幫助恢復量化LLM的信息，同時保持其輕量級性質，作者引入了有效的信息彈性連接。該方法構建了一個強大的低秩適配器，有助于利用從量化的LLM單元導出的信息。

具體來說，首先根據輸入和中間維度的最大公約數對原始特征進行分組和平均，并將其添加到由 矩陣計算的輸出中。增加彈性連接的LoRA的第一個子單元 

 可以表示為：

LoRA的后一個矩陣將低秩中間表示變換為輸入維度，因此其伴隨的無參數變換使用重復串聯來增加維度。后一個子單元  的計算過程可以表示為：

與LLM和LoRA單元中的矩陣乘法相比，無參數變換是一種多樣化的變換形式，進一步增強了量化LLM的信息表示。

實驗驗證

作者廣泛評估了IR-QLoRA的準確性和效率。選擇LLaMA和LLaMA 2系列模型，在Alpaca和Flanv2數據集上構建參數高效的微調，使用MMLU和CommonsenseQA基準進行評估微調后量化模型的效果。

準確率

以下兩張表格分別展示了在Alpaca和Flanv2數據集上微調的MMLU基準的5-shot精度結果。綜合結果表明，在各種規模的LLaMA模型中，IR-QLoRA優于所有比較量化方法。

與基線方法QLoRA相比，IR-QLoRA在相同的微調管道下在MMLU基準上實現了精度的顯著提高。

此外，在LLaMA 2上的準確性比較，證明了IR-QLoRA跨LLM系列的泛化性能。

下表中的結果表明，IR-QLoRA不僅平均實現了至少2.7%的性能改進，而且在幾乎每個單獨的指標上都表現出了優勢。這些結果表明IR-QLoRA在不同的LLM系列中表現出很強的泛化性。

與MMLU基準上的現象類似，在CommonsenseQA基準上，與SOTA方法相比，IR-QLoRA始終保持了LLaMA-7B的最佳平均準確率，而且還顯著提高了大多數子項的有效性。

超低位寬

除了4比特以外，作者還評估了超低位寬下的IR-QLoRA建議。

具體來說，作者采用了QLoRA和LoftQ的量化方法，按照百分位量化方法構建了NF2和NF3量化。

下表顯示，隨著量化位寬的減小，基線QLoRA的性能急劇下降，以至于其在2位情況下的性能與隨機相差無幾。

相比之下，IR-QLoRA表現出更優越的性能，在Flan v2數據集上微調2位模型時，與16位模型相比僅有0.9%的精度差異。

效率

IR-QLoRA的信息校準量化和信息彈性連接并沒有帶來額外的存儲和訓練開銷。

如上所示，信息校準量化增加的參數僅相當于量化的縮放因子，而且采用了雙重量化以進一步減少存儲。因此其帶來的額外存儲空間很小，在4位LLaMA-7B上僅增加了 2.04%。

校準常數的優化過程也只增加了微不足道的訓練時間（例如，LLaMA-7B為 0.46%，LLaMA-13B為 0.31%）。此外，增加的時間僅用于訓練過程中的初始優化，并不會導致推理時間的增加。信息彈性連接也只在每層引入了2個額外參數，在整個模型中可以忽略不計。

結論

總的來說，基于統計的信息校準量化可確保LLM的量化參數準確保留原始信息；以及基于微調的信息彈性連接可以使LoRA利用不同信息進行彈性表示轉換。

廣泛的實驗證明，IRQLoRA在LLaMA和LLaMA 2系列中實現了令人信服的精度提升，即使是2-4位寬，耗時也僅增加了0.45%。

IR-QLoRA具有顯著的多功能性，可與各種量化框架無縫集成，并且大大提高了LLM的LoRA-finetuning量化精度，有助于在資源受限的情況下進行實際部署。

論文地址：https://arxiv.org/pdf/2402.05445
代碼地址：https://github.com/htqin/IR-QLoRA

本文轉自 量子位 ，作者：量子位

原文鏈接:??https://mp.weixin.qq.com/s/tX6P0U5g9vNDIq2qP7IgCA??