Scaling Laws終結(jié)，量化無用，AI大佬都在審視這篇論文

作者：機(jī)器之心 2024-11-13 13:50:00

研究表明，你訓(xùn)練的 token 越多，你需要的精度就越高。

最近幾天，AI 社區(qū)都在討論同一篇論文。

UCSD 助理教授 Dan Fu 說它指明了大模型量化的方向。

CMU 教授 Tim Dettmers 則直接說：它是很長一段時(shí)間以來最重要的一篇論文。OpenAI 創(chuàng)始成員、特斯拉前 AI 高級總監(jiān) Andrej Karpathy 也轉(zhuǎn)發(fā)了他的帖子。

Tim Dettmers 表示，可以說，人工智能的大部分進(jìn)步都來自計(jì)算能力的提升，而（在最近）這主要依賴于低精度路線的加速（32- > 16 - > 8 位）。現(xiàn)在看來，這一趨勢即將結(jié)束。再加上摩爾定律的物理限制，大模型的大規(guī)模擴(kuò)展可以說要到頭了。

例如，英偉達(dá)最新的 AI 計(jì)算卡 Blackwell 將擁有出色的 8 位能力，并在硬件層面實(shí)現(xiàn)逐塊量化。這將使 8 位訓(xùn)練變得像從 FP16 切換到 BF16 一樣簡單。然而，正如我們從新論文中看到的那樣，對于很多大模型的訓(xùn)練來說，8 位是不夠的。

與其他模型相比，Llama 405B 沒有得到太多應(yīng)用的主要原因是它體量太大了，運(yùn)行 405B 模型進(jìn)行推理非常麻煩。但論文表明，訓(xùn)練較小的模型（例如 70B）時(shí)，你也無法在低精度下有效地訓(xùn)練這些模型。見下圖 8B（圓形） 70B（三角形） 405B（星型）：

可見對于 20B Token 數(shù)據(jù)的訓(xùn)練，訓(xùn)練 8B 模型在 16 位中效率更高。對于 70B 模型來說 8 位仍然有效，但效率越來越低。

Tim Dettmers 感嘆道：從我自己的經(jīng)驗(yàn)（大量失敗的研究）來看，效率是無法欺騙的。如果量化失敗，那么稀疏化也會失敗，其他效率機(jī)制也會失敗。如果這是真的，那么我們現(xiàn)在就已經(jīng)接近最優(yōu)了。

那以后我們怎么辦？眼前似乎只有三條可能的路線：

擴(kuò)大數(shù)據(jù)中心規(guī)模：未來約 2 年這仍然是可以做到的事；
通過動態(tài)擴(kuò)展：路由到更小的專門模型或大 / 小模型上；
知識的提煉：這條路線與其他技術(shù)不同，并且可能具有不同的特性。

對于新硬件來說，我們?nèi)匀挥?HBM4 內(nèi)存，這將是一個很好的提升。但 FP4 訓(xùn)練似乎是一個謊言，節(jié)點(diǎn)縮小不會再增加多少效率了。

這篇名為《Scaling Laws for Precision》的論文顧名思義，制定了一個和大語言模型使用數(shù)據(jù)精度有關(guān)的擴(kuò)展定律，涵蓋了訓(xùn)練前和訓(xùn)練后。

論文標(biāo)題：Scaling Laws for Precision
論文鏈接：https://arxiv.org/abs/2411.04330

據(jù)論文一作，來自哈佛大學(xué)的 Tanishq Kumar 介紹，他們的研究認(rèn)為：

由于當(dāng)代大模型在大量數(shù)據(jù)上經(jīng)歷了過度訓(xùn)練，因此訓(xùn)練后量化已變得非常困難。因此，如果在訓(xùn)練后量化，最終更多的預(yù)訓(xùn)練數(shù)據(jù)可能會造成副作用；
在預(yù)訓(xùn)練期間以不同的精度放置權(quán)重、激活或注意力的效果是一致且可預(yù)測的，并且擬合擴(kuò)展定律表明，高精度（BF16）和下一代精度（FP4）的預(yù)訓(xùn)練可能都是次優(yōu)的設(shè)計(jì)選擇。

低精度訓(xùn)練和推理會影響語言模型的質(zhì)量和成本，但當(dāng)前的大模型 Scaling Law 并未考慮到這一點(diǎn)。在這項(xiàng)工作中，研究人員為訓(xùn)練和推理設(shè)計(jì)了「精度感知」擴(kuò)展定律。

作者提出，以較低的精度進(jìn)行訓(xùn)練會降低模型的有效參數(shù)數(shù)量，從而使我們能夠預(yù)測低精度訓(xùn)練和訓(xùn)練后量化帶來的額外損失。對于推理，隨著模型在更多數(shù)據(jù)上進(jìn)行訓(xùn)練，訓(xùn)練后量化帶來的性能下降會加劇，最終導(dǎo)致額外的預(yù)訓(xùn)練數(shù)據(jù)產(chǎn)生負(fù)面影響。對于訓(xùn)練，擴(kuò)展定律使我們能夠預(yù)測具有不同精度的不同部分的模型的損失，以較低精度訓(xùn)練較大的模型可能是計(jì)算最優(yōu)的。

該工作統(tǒng)一了訓(xùn)練后量化和訓(xùn)練前量化的擴(kuò)展定律，得出一個單一的函數(shù)形式，可以預(yù)測不同精度下訓(xùn)練和推理的性能下降。

預(yù)訓(xùn)練 scaling law 表明，計(jì)算最佳預(yù)訓(xùn)練精度通常獨(dú)立于計(jì)算預(yù)算。然而，令人驚訝的是，如果模型大小受到限制，這種獨(dú)立性就不再成立，在這種情況下，計(jì)算最佳精度在計(jì)算中增長緩慢。

該研究以 3-16 bit 精度預(yù)訓(xùn)練了 465 個語言模型，并對每個模型進(jìn)行了訓(xùn)練后量化。對于具有 N 個參數(shù)的語言模型，在 D 個 token 上進(jìn)行訓(xùn)練，訓(xùn)練精度為 P_train，訓(xùn)練后權(quán)重精度為 P_post，該研究最終找到了一個統(tǒng)一的 Scaling Law，其形式如下：

其中，A、B、E、α、β 是正擬合常數(shù)，δ_PTQ 是指推理前訓(xùn)練后量化引起的損失退化。

研究簡介

該研究首先研究了訓(xùn)練后量化模型權(quán)重的常用方法，發(fā)現(xiàn)訓(xùn)練時(shí)間越長 / 預(yù)訓(xùn)練期間「看到」的數(shù)據(jù)越多，模型在推理時(shí)對量化就越敏感，這解釋了為什么 Llama-3 可能更難量化。

事實(shí)上，這種損失退化大致是預(yù)訓(xùn)練期間看到的 token / 參數(shù)比值的冪律，因此可以提前預(yù)測關(guān)鍵數(shù)據(jù)大小，超過該數(shù)據(jù)大小的更多數(shù)據(jù)的預(yù)訓(xùn)練會非常有害。直覺可能是，當(dāng)你訓(xùn)練更多的數(shù)據(jù)時(shí)，更多的知識被壓縮成權(quán)重，給定的擾動會對模型性能造成更大的損害。

圖 1：主要發(fā)現(xiàn)示意圖。在 BF16 中將固定大小的模型在各種數(shù)據(jù)預(yù)算上訓(xùn)練，并在最后量化權(quán)重。可以發(fā)現(xiàn)，由于訓(xùn)練后量化而導(dǎo)致的退化會隨著預(yù)訓(xùn)練期間看到的 token 數(shù)量增加而增加，因此額外的預(yù)訓(xùn)練數(shù)據(jù)可能會造成損害。

經(jīng)過擴(kuò)展驗(yàn)證表明，以較低的精度訓(xùn)練較大的模型可以實(shí)現(xiàn)計(jì)算優(yōu)化。

然后該研究將注意力轉(zhuǎn)向低精度訓(xùn)練，主要研究量化感知訓(xùn)練（僅權(quán)重）和低精度訓(xùn)練。該研究將模型分解為權(quán)重、激活和 KV 緩存，找到其中任何一個量化到任意精度時(shí)損失的 Scaling Law，并開發(fā)一種組合且可解釋的函數(shù)形式來預(yù)測在預(yù)訓(xùn)練期間，量化這三者的任意組合對損失的影響。

該研究的 Scaling Law 依賴于「有效參數(shù)計(jì)數(shù)」的概念，研究團(tuán)隊(duì)假設(shè)當(dāng)你降低精度，參數(shù)也降低一定數(shù)量，計(jì)數(shù)就降低，那么包含 FP4 中所有內(nèi)容的 10 億參數(shù)模型具有可比較的數(shù)量 BF16 中 250m 模型的「有效參數(shù)」。