LLM發展到今天，下一步該往哪個方向探索？

顯然，如今最明顯的一個問題就是，大模型的參數規模還是太大了——DeepSeek-V3的參數為671B，Llama 3.1系列最大為405B，GPT-4o為200B，Claude 3.5 Sonnet為175B。

參數規模在不斷增長，高昂的計算成本和推理延遲，該怎么破？

顯然，無論推理還是部署，離開了老黃的「卡」，都將寸步難行。

假設真到了這一天，我們將不得不面臨這一窘境時，不打無準備之仗，就是最好的策略。

這里，就引出了一個關鍵問題——如何將算法創新，與國產AI計算平臺相結合。

具體來說，就是需要在保持模型性能的同時，實現高效的壓縮與加速。

「裁員裁到大動脈？」

華為破悉關鍵

解決這個問題的關鍵之一，就是結構化剪枝技術。

顧名思義，這種「激進」的壓縮技術，正是通過整個移除模型中的冗余組件（如注意力頭等）來實現的。

結構化剪枝更適合硬件加速，因為它保持了模型的結構規則性。

然而只是簡單粗暴的剪枝，卻往往會遭遇滑鐵盧，引發大問題。

實踐表明，當嘗試對模型的寬度（網絡通道數）、深度（層數）等多個維度同時進行激進壓縮時，模型性能會斷崖式下跌——畢竟，大模型對于人類還是個黑盒：

激進的剪枝操作會嚴重擾亂模型原有的參數分布平衡和精心學習到的信息流動路徑，使得剪枝后的模型結構失穩，性能大打折扣，甚至難以通過后續微調恢復。

打個不恰當的比方，這就好像是裁員裁到了大動脈，或者刪除了看似不重要但起決定性作用的組件。

好在，面對這一難題，來自華為諾亞方舟實驗室的研究者們，直接洞察到了問題的核心——

在剪枝之后，必須對模型的剩余參數進行精心的重新初始化與調整！

由此，他們推出了基于昇騰NPU的結構化剪枝與優化框架——Pangu Light。

通過創新性地引入了一系列權重調整與重置技術，最終，他們成功填補了當前方法在剪枝后模型穩定與性能恢復機制上的關鍵空白。

Pangu Light的核心技術包括：

• 旨在優化深度剪枝的跨層注意力剪枝（CLAP）
• 針對寬度剪枝的穩定化LayerNorm剪枝（SLNP）
• 為盤古模型「三明治」架構量身定制的Post-RMSNorm融合優化策略，并針對昇騰硬件平臺進行了定制架構優化。

實驗結果表明，Pangu Light在壓縮率和推理速度方面取得了顯著提升。

并且，相較于一些已有的剪枝框架（如NVIDIA Minitron/PUZZLE的部分策略），Pangu Light展現出更優的效果。

剪枝后的Pangu系列模型在多項基準測試中，精度-效率曲線都超越了業界領先的LLM（如Qwen3系列）。

結構化剪枝的「夢魘」：

為何模型越剪越「傷」？

大模型結構化剪枝的初衷，當然是美好的——通過移除不重要的參數或結構單元，實現「瘦身健體」。

然而，當剪枝的「手術刀」同時伸向模型的深度、寬度、注意力機制乃至前饋網絡（FFN）時，一場潛在的「噩夢」便可能開始。

傳統的剪枝方法大多依賴于某種重要性評分機制來決定「去留」，例如神經元的激活值大小、權重的L2范數等。

雖然這些方法能夠識別出部分冗余組件，但在進行大刀闊斧的多維度聯合剪枝時，卻往往忽略了一個致命問題：模型是一個高度耦合的復雜系統。

僅僅移除「看起來不重要」的部分，會像抽掉積木塔的底層積木一樣，導致整個模型的參數分布發生劇烈改變。

原本精心訓練得到的權重，在移除了大量與之配合的「同事」后，其功能和意義可能已面目全非。

激活值的統計特性發生偏移，信息流在殘缺的網絡中傳遞受阻，最終導致剪枝后的模型性能大幅下降，陷入「一剪就壞，壞了難修」的困境，即便投入大量資源進行后續微調，也常常收效甚微。

正是因為洞察到這一「剪枝后穩定性」的核心癥結，Pangu Light框架祭出了兩大「殺手锏」——跨層注意力剪枝（CLAP）和穩定化LayerNorm剪枝（SLNP）。

這兩大技術，正是為了從根本上解決剪枝帶來的模型失穩問題。

Pangu Light核心技術解析：

穩定勝于一切

Pangu Light的成功，關鍵在于其獨特的「剪枝」后「修復與重建」哲學，即通過精密的參數重置與結構調整，確保模型在「瘦身」后依然「筋骨強健」。

跨層注意力剪枝（CLAP）：層剪枝后的「智慧縫合」

當整個網絡層被移除（深度剪枝）時，其承載的注意力計算單元通常被完全丟棄，這對模型的信息處理能力無疑是巨大打擊。

傳統的逐層獨立剪枝未能充分利用被剪層的信息，相比之下，Pangu Light的CLAP技術卻展現了一種更為精妙的「跨層智慧」。

在研究者看來，即便一個層被判定為可剪枝，其內部的某些注意力頭（特別是KV group）可能依然承載著不可或缺的關鍵信息。

 因此，在剪去第l+1層時，CLAP并不會將其注意力機制完全拋棄，而是會聯合評估第l層和第l+1層中所有KV group的重要性。

這種重要性基于其內部尚存的Query Head的初始重要性：

式中， 表示query head的初始重要性，表示一個KV group中保留的query head的集合，表示KV group中保留的query的數量。

從這兩層的所有KV group中，選取Top-K最重要的KV group，將其參數「移植」并整合到第l層。

這相當于將被剪層l+1的「精華」注意力權重，巧妙地「縫合」并重新初始化到保留層l的注意力機制中，實現了信息的跨層保留與結構功能的有效重組。

穩定化LayerNorm剪枝（SLNP）：寬度剪枝后的「定海神針」

當網絡寬度被壓縮，即隱藏層通道被剪枝時，RMSNorm（或LayerNorm）層中的可學習仿射參數γ的維度也隨之減少。

這一變化看似簡單，實則極易引發「蝴蝶效應」：γ的L2范數（即其整體尺度）可能發生劇變，進而顯著改變RMSNorm層的輸出激活值的統計分布。

這種分布的漂移會逐層傳遞、放大，最終導致整個網絡內部的激活狀態極不穩定，嚴重阻礙剪枝后模型的收斂和性能恢復。

怎么辦？為此，研究者們提出了SLNP技術，這套權重重置方案有效地直接針對了這一問題。

他們發現，通過精確調控剪枝后RMSNorm層γ參數的L2范數，使其恢復到剪枝前的水平，對于維持模型穩定性至關重要。

具體而言，對于每個被剪枝的RMSNorm層l，SLNP會計算一個重初始化標量：

（分子和分母分別為剪枝前后參數γ的L2范數）。然后，用這個標量重新縮放剪枝后的γ參數。

這一簡單的重初始化步驟，卻如「定海神針」一般有效。

它校正了輸出尺度，顯著提升了模型在剪枝后的穩定性與后續微調的收斂性。

Post-RMSNorm融合優化策略

另外，Pangu系列大模型還采用了一種獨特的「三明治」歸一化（Depth-Scaled Sandwich-Norm, DSSN）架構，即在每個Transformer塊的注意力模塊和FFN模塊之后都額外增加了一個RMSNorm層。

這一設計極大地增強了大規模模型訓練的穩定性，甚至實現了「零訓練毛刺（zero loss spikes）」的佳績。

然而，這種歸一化也無可避免地帶來了額外的推理計算開銷。

標準的RMSNorm計算公式如下：

RMSNorm會實時計算每一個輸入token的統計值，這極大影響了模型的推理效率。

為此，針對這種額外引入的Post-RMSNorm，研究者通過少量校準集求取該統計值的均值，并將該均值替換RMSNorm的實時計算，其表達式如下：

替換后，歸一化層的計算公式表示如下：

這一變換有效地將Post-RMSNorm層替換為一個常數的逐通道縮放操作。

同時，這一縮放操作可以將歸一化層的參數融入線性投影層的權重矩陣中，消除了PostNorm額外引入的參數。

實驗驗證

為了驗證Pangu Light框架的實際效果，研究團隊以Pangu 38B模型為基準，在華為昇騰NPU AI處理器上進行了一系列詳盡的模型壓縮實驗。

從實驗結果可以看出，Pangu Light在不同的壓縮比例下，均能非常有效地保持模型的精度。

與參數量相近的業界知名模型Qwen3-32B相比，Pangu Light壓縮后的模型在多項任務上展現出更強的競爭力，平均精度更優。

在同樣加速2.1x的情況下，Pangu Light保留了高達98.9%的原始模型推理能能力，超越英偉達提出的PUZZLE壓縮方案（保持98.4%的精度）。

 在推理吞吐量方面，研究團隊在昇騰NPU的配置下進行了測試。

結果顯示，Pangu Light剪枝后的模型在昇騰硬件平臺上表現出卓越的親和力。

以32B規模的模型為例，Pangu Light-32B的吞吐量相較于Qwen3-32B提升了接近16.2%（2585 vs 2225 tokens/s）。

這就充分證明了其軟硬協同優化的有效性，實現了模型性能與推理速度的更優平衡。

消融實驗

為了進一步驗證Pangu Light中各項創新技術的獨立貢獻，研究團隊還精心設計了消融實驗。

在一項基于14B規模模型的少量數據微調評測中，對比僅基于激活值進行剪枝的策略（NVIDIA Minitron方案的），同時采用CLAP和SLNP這兩種「寬深調整」（實為權重重置與結構調整）技術的Pangu Light模型，在平均精度上實現了高達3.6個百分點的提升。

這一顯著差距，充分證明了在剪枝之后進行系統性的參數調整與重置的極端重要性，以及Pangu Light所提方法的優越性。

為了深入探究Pangu Light剪枝方法學對模型內部參數的影響，特別是其核心的SLNP權重重置策略如何維持穩定性，研究者們還細致分析了模型歸一化層的仿射縮放參數γ在剪枝前后的分布變化。

分析著重聚焦于那些在剪枝后被保留下來的通道和層所對應的γ參數。

結果清晰地顯示，在應用了Pangu Light的剪枝和SLNP重置策略后，這些被保留的γ參數的均值和標準差在每一層都與剪枝前保持了高度的一致性。

這一現象有力地說明，Pangu Light的剪枝與權重重置方法能夠有效維持這些關鍵縮放參數學習到的統計特性，避免了劇烈的分布漂移。

這種參數層面的穩定性，是剪枝后模型整體魯棒性和行為可預測性的重要基石。

昇騰賦能，華為引領AI普惠之路

可見Pangu Light框架的提出，無疑為LLM的高效部署領域注入了強勁的新動能。

它結合了系統性的結構化剪枝與創新性的「剪枝后權重重置與結構調整」理念，尤其強調了在激進剪枝后對模型進行「再穩定化」的核心步驟。

由此，這個框架就成功破解了長期困擾業界的「一剪就壞」難題。

甚至，在昇騰AI處理器的強大算力支持下，Pangu Light不僅實現了超高的模型壓縮率和推理加速，更難能可貴地保持了極具競爭力的模型精度，展現了卓越的「精度-效率」均衡藝術。

可以說，這項由華為諾亞方舟實驗室主導的研究成果，是軟硬件協同設計（「軟硬協同」）理念的又一次成功實踐，充分彰顯了算法創新與國產AI計算平臺（昇騰）深度融合所能爆發出的巨大潛力。

從此，不僅Pangu系列大模型有了強大的「瘦身」與加速工具，業界更是有了一條極有前途的路徑——

在保證高性能前提下，大模型應用的門檻，還將繼續大幅降低！