最近，微軟亞研院的研究團(tuán)隊(duì)開源了原生1bit精度的大模型：BitNet b1.58 2B4T。

還沒過幾天，原班人馬帶著第二代BitNet v2來了！

這次性能幾乎0損失，但占用內(nèi)存和計(jì)算成本顯著降低！

論文鏈接：https://arxiv.org/abs/2504.18415

先前的開創(chuàng)性研究，如BitNet b1.58，已經(jīng)證明：

即使將權(quán)重量化到1.58位，也能在極大降低推理成本（延遲、內(nèi)存占用、吞吐量、能耗）的同時(shí)，保持與全精度模型相當(dāng)?shù)男阅堋?/span>

然而，激活值異常點(diǎn)讓1比特大語言模型部署變得復(fù)雜。

BitNet v2框架，首次實(shí)現(xiàn)對(duì)1比特LLMs的原生4比特激活值量化。

針對(duì)注意力機(jī)制和前饋網(wǎng)絡(luò)中激活值的異常分布問題，在激活值量化前，H-BitLinear模塊施加在線Hadamard變換（Hadamard transformation）。

圖1上半部分：BitNet v2整體架構(gòu)以及H-BitLinear模塊的概覽

這種變換能將尖銳的激活值分布轉(zhuǎn)化為更接近高斯形態(tài)的平滑分布，從而適配低比特表示。

原生4比特計(jì)算

得益于下一代GPU（如GB200）等硬件的進(jìn)步，深度學(xué)習(xí)領(lǐng)域正迅速采用量化和低比特推理技術(shù)。

新硬件原生支持4比特計(jì)算，為大規(guī)模模型帶來顯著的效率提升。

計(jì)算機(jī)中32、16、8比特浮點(diǎn)數(shù)不同的表示方法

然而，盡管BitNet b1.58將權(quán)重量化為1.58比特，緩解了內(nèi)存帶寬瓶頸，但它的激活值仍保持8比特精度。

模型無法充分利用新硬件的4比特計(jì)算能力。

實(shí)現(xiàn)更低比特寬度的激活值對(duì)于最大化硬件利用率至關(guān)重要，尤其是在批處理推理場(chǎng)景中，高效的內(nèi)核設(shè)計(jì)尤為重要。

關(guān)鍵問題在于LLM內(nèi)部激活值的不均勻分布。

雖然注意力機(jī)制和前饋網(wǎng)絡(luò)（FFN）層的輸入通常呈現(xiàn)類高斯分布，適合量化，但中間狀態(tài)（最終投影前的輸出）往往包含顯著的離群值，阻礙了激進(jìn)的低比特量化。

圖1下半部分：注意力層中輸出投影Wo和前饋網(wǎng)絡(luò)中下投影Wdown的激活分布情況

對(duì)輸入采用4比特量化和對(duì)中間狀態(tài)使用8比特稀疏化，可以解決這一問題。

盡管性能損失較小，但稀疏化并不適合批處理推理場(chǎng)景的最大吞吐量需求，因?yàn)橛布鼉A向于密集計(jì)算以提升效率。

為彌合這一差距并充分發(fā)揮1.58比特LLM在4比特計(jì)算中的潛力，研究團(tuán)隊(duì)提出了BitNet v2框架，實(shí)現(xiàn)了模型全流程的原生4比特激活值，框架核心創(chuàng)新是H-BitLinear。

BitNet v2：原生4位激活

BitNet v2模型基于類似LLaMA的組件構(gòu)建，包括RMS歸一化、SwishGLU激活函數(shù)，并完全移除了偏置項(xiàng)（bias）。

BitNet v2的整體架構(gòu)

與先前的BitNet相比，BitNet v2在注意力模塊的輸出投影Wo和前饋網(wǎng)絡(luò)（FFN）的下投影Wdown中，引入了H-BitLinear模塊，以專門處理中間狀態(tài)中出現(xiàn)的異常通道（outlier channels）。

BitNet v2的訓(xùn)練流程分為兩階段：

首先，從零開始使用1.58位權(quán)重和8位激活（INT8）進(jìn)行預(yù)訓(xùn)練；

隨后，在保持權(quán)重量化不變的基礎(chǔ)上,將所有線性層（除輸入/輸出embedding外）進(jìn)一步微調(diào)為4位激活（INT4）。

H-BitLinear模塊

BitNet v2采用逐張量平均絕對(duì)值量化（per-tensor absmean）策略對(duì)權(quán)重進(jìn)行三值量化（也就是{-1, 0, 1}）：

關(guān)于低比特激活的問題，已有研究指出：

• 注意力層和前饋網(wǎng)絡(luò)中前置線性變換的輸入激活，通常呈現(xiàn)高斯分布，較適合量化；
• 而注意力輸出（Wo）和FFN下投影（Wdown）的中間狀態(tài)激活，則往往包含大量離群通道（outlier channels），且大部分值集中于0附近，嚴(yán)重影響低位量化精度。

H-BitLinear可以取代注意力機(jī)制輸出投影和FFN下投影的標(biāo)準(zhǔn)線性層。

H-BitLinear在激活量化前應(yīng)用在線哈達(dá)瑪變換），把中間狀態(tài)中尖銳、易產(chǎn)生離群值的分布重塑為更易處理的類高斯分布，顯著減少1.58比特模型中離群值的影響。

Hadamard變換定義如下：

其中的矩陣乘法采用快速Hadamard變換算法（Fast Hadamard Transform，F(xiàn)HT），其計(jì)算復(fù)雜度為O(nlogn)。

Hadamard矩陣是一類特殊的正交矩陣。

它的特點(diǎn)是每個(gè)元素只能是+1或-1，并且每行（或每列）之間的內(nèi)積為0，表示彼此正交。

阿達(dá)馬矩陣的命名來自于法國(guó)數(shù)學(xué)家Jacques Solomon Hadamard。

法國(guó)數(shù)學(xué)家：Jacques Solomon Hadamard

如圖2和圖3所示，引入Hadamard變換后，中間狀態(tài)的分布更加接近高斯形態(tài)。

這顯著減少了離群值數(shù)量，使其更適合進(jìn)行4位激活量化（INT4）。

圖2：在使用8位激活時(shí)，BitNet b1.58與BitNet v2的激活分布對(duì)比。

圖3：采用8比特激活值時(shí)，BitNet b1.58與BitNet v2在前饋網(wǎng)絡(luò)Wdown層和注意力機(jī)制Wo層的激活值分布對(duì)比。

對(duì)于8位激活（INT8）和4位激活（INT4）量化策略，分別采用下列策略：

綜上，H-BitLinear層的整體矩陣運(yùn)算可表示為：

其中，LN(?)表示層歸一化（LayerNorm）。

研究團(tuán)隊(duì)從頭開始使用8比特激活值訓(xùn)練BitNet v2，與BitNet b1.58相比性能損失微乎其微。

隨后，通過少量數(shù)據(jù)高效微調(diào)，模型即可適配原生4比特激活值。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)表明，4比特BitNet v2變體在性能上與BitNet a4.8相當(dāng)，但在批處理推理場(chǎng)景中提供更高的計(jì)算效率。

此外，與后訓(xùn)練量化方法SpinQuant和QuaRot，則幾乎全面領(lǐng)先。

比BitNet b1.58更快

BitNet V2與BitNet b1.58比，性能幾乎0損失。

BitNet v2及其基線模型的詳細(xì)實(shí)驗(yàn)結(jié)果，如表1所示。

在注意力機(jī)制和前饋網(wǎng)絡(luò)（FFN）層的量化前引入哈達(dá)瑪變換后，模型的困惑度（perplexity）下降極小。

對(duì)于8比特激活值，BitNet v2相較于BitNet b1.58表現(xiàn)出更高的性能，在1.3B、3B和7B模型規(guī)模上，終端任務(wù)的平均準(zhǔn)確率分別提升了0.16%、0.49%和0.61%。

此外，BitNet v2支持所有線性層的原生4比特激活值，從而顯著提升了批處理推理的效率。

在使用INT4（4比特整數(shù)）激活值時(shí)，BitNet v2的困惑度與BitNet a4.8相當(dāng)，同時(shí)在3B和7B模型的下游任務(wù)中展現(xiàn)出更優(yōu)的性能。

表1：BitNet v2、BitNet a4.8與BitNet b1.58在終端任務(wù)上的困惑度及性能表現(xiàn)

表2和表3分別總結(jié)了BitNet v2（8比特激活，a8）和BitNet v2（4比特激活，a4）在低比特注意力機(jī)制下的詳細(xì)結(jié)果。

研究人員對(duì)QKV狀態(tài)采用了RoPE（旋轉(zhuǎn)位置編碼）后的量化方法。

QKV頭通過absmax函數(shù)直接量化為無符號(hào)整數(shù)，無需任何校準(zhǔn)數(shù)據(jù)集。

如表2和表3所示，采用3比特KV緩存的BitNet v2在3B和7B模型上的準(zhǔn)確率與使用全精度KV緩存的模型相當(dāng)。

表2：BitNet v2在終端任務(wù)上的零樣本準(zhǔn)確率，其中激活使用8位，而QKV狀態(tài)的位寬則有所不同。

表3：BitNet v2在終端任務(wù)上的零樣本準(zhǔn)確率，其中激活使用4位，而QKV狀態(tài)的位寬則有所不同。

與其他后訓(xùn)練量化方法的對(duì)比

BitNet v2 (a4)與主流的后訓(xùn)練量化基線方法進(jìn)行了對(duì)比，包括SpinQuant和QuaRot，在1.3B參數(shù)規(guī)模的模型上進(jìn)行了評(píng)測(cè)。

QuaRot通過引入隨機(jī)Hadamard變換以緩解特征離群?jiǎn)栴}，SpinQuant則使用了可學(xué)習(xí)的旋轉(zhuǎn)矩陣（rotary matrix）。

隨后，這兩種方法分別采用GPTQ和absmax策略，將權(quán)重和激活量化到4位。

由于BitNet b1.58沿用訓(xùn)練時(shí)使用的absmean函數(shù)進(jìn)行權(quán)重量化，而非使用GPTQ。

在各項(xiàng)指標(biāo)上，BitNet v2穩(wěn)拿第一，具體結(jié)果見表4。

表4：BitNet v2、QuaRot和SpinQuant在各項(xiàng)下游任務(wù)上的困惑度（Perplexity）與零樣本準(zhǔn)確率（Zero-shot Accuracy）對(duì)比

另外，在Hadamard變換對(duì)不同模型尺寸（1.3B和3B）影響的實(shí)驗(yàn)（見表5）中，研究者發(fā)現(xiàn)：

沒有旋轉(zhuǎn)處理（No rotation）時(shí)，模型直接發(fā)散，無法正常訓(xùn)練；

引入Hadamard旋轉(zhuǎn)（無論是權(quán)重+激活，還是僅激活），都能顯著穩(wěn)定低位訓(xùn)練，并提高最終準(zhǔn)確率。

表5：不同規(guī)模下H-BitLinear的Hadamard變換的消融研究。

模型訓(xùn)練、消融實(shí)驗(yàn)等其他內(nèi)容和細(xì)節(jié)，請(qǐng)參閱原文。