摘要：為什么你用同樣的指令，大模型卻給出不同回答？這不只是隨機性采樣的問題。本文將揭示看似“玄學”的非確定性背后，一個鮮為人知的技術真相，并提供實操方案，讓你成為真正能馴服AI大模型的少數(shù)人。

為什么你問大模型同一個問題，它卻給出不同答案？

最常見的解釋是“采樣”：大模型不是給出唯一的答案，而是給出一系列概率最高的“備選詞”，然后隨機抽取一個。就像擲骰子一樣，即使某個面朝上的概率最高，每次結果也可能不同。

這很好理解。但更讓人困惑的是，當你把參數(shù)Temperature（溫度）調到0，也就是讓AI每次都貪婪地選擇概率最高的那個詞，理論上應該每次都得到同樣的結果，可現(xiàn)實并非如此。即使是同一個API、同一個模型，甚至在你自己的硬件上用開源推理庫跑，結果依然難以復現(xiàn)。

這種“非確定性”的鍋，通常被甩給了“并發(fā)+浮點數(shù)”的組合拳。這個假說認為：GPU在處理海量并行計算時，浮點數(shù)的加法順序會因為不同的線程執(zhí)行速度而改變，導致微小的舍入誤差，并像多米諾骨牌一樣，最終影響整個輸出。

這個解釋聽起來很有道理，但它只揭示了表象，沒有觸及問題的核心。

因為，如果你在GPU上重復運行同一個矩陣乘法1000次，結果會精確地、位對位地完全一致。這說明，問題不在于浮點數(shù)本身，也不在于GPU的并發(fā)性，而在更深層次的機制上。

這就是今天我們要解開的謎題：大模型非確定性的真正元兇是什么？

大模型非確定性的真正元兇，是“批量大小”

我們先來做個思想實驗。

一個推理服務，可以同時處理多個用戶的請求。你的請求和別人的請求，被打包成一個“批次”（batch），送進GPU一起計算。

從服務的角度看，它處理的是一個固定的輸入（包含你和別人的請求），因此每次運行的結果都是確定的。這也就是為什么在后臺，推理引擎可以說自己是“確定性”的。

但是，從你作為單個用戶的角度看，情況就完全不同了。

你永遠不知道，在你發(fā)出請求的那一刻，服務器正在處理多少其他請求。這個**“負載”是不確定**的。而這個不確定的負載，決定了你請求被打包的 “批量大小”。

這就像你買電影票，你不知道有多少人同時在購票。你當然期望，不管和你一起買票的人有多少，你買到的都是同一張票。

然而，大模型推理的真相是：你的請求的輸出，竟然會受到同一批次中其他請求數(shù)量的影響。

為什么會這樣？

因為大模型推理中的核心運算，如矩陣乘法，雖然是 “運行-運行確定的”（run-to-run deterministic），但在不同批量大小下，它的運算順序會改變。

這是一個反直覺的現(xiàn)象。你可能會覺得，對一個矩陣的每一行進行計算，不應該受到其他行的影響。但在現(xiàn)實中，為了優(yōu)化性能，底層的GPU計算會根據(jù)批量大小來調整并行策略，從而導致浮點數(shù)的累加順序發(fā)生改變，并最終產(chǎn)生微小的數(shù)值差異，這些差異層層累積，足以讓最終的輸出分道揚鑣。

所以，大模型非確定性的核心不在于“并發(fā)+浮點數(shù)”，而在于一個更隱秘的敵人——“批量不變量”。或者說，是“批量大小”這個不確定的變量，與“非批量不變量” 的計算內(nèi)核結合，制造了非確定性的假象。

如何馴服AI？三個步驟實現(xiàn)“確定性”

既然我們知道了問題的根源，解決方案也隨之清晰起來：讓推理服務的核心運算實現(xiàn)“批量不變量”。這聽起來很技術，但你可以這樣理解：不管你的請求和多少個其他請求一起處理，它的計算過程和結果都保持一致。

這需要對大模型推理中的幾個核心操作進行特殊處理。

1. RMSNorm（根均方歸一化）

這是一個常見的歸一化操作，其核心是把一個向量的元素平方求和再開方。在并行處理時，一個簡單策略是讓每個核心處理一個獨立的請求。如果請求數(shù)量足夠多，這個策略很高效，而且由于每個請求的計算都是獨立的，天然是批量不變量的。

但當請求量很少，不足以填滿所有核心時，為了不浪費算力，系統(tǒng)會把一個請求的計算任務“劈開”，讓多個核心并行處理，最后再匯總。這個“劈開再匯總”的過程，改變了計算順序，也就破壞了批量不變量。

解決方案： 犧牲一點小批量下的性能，確保無論批量大小如何，每個請求的歸一化計算都遵循完全相同的并行策略。

2. 矩陣乘法

矩陣乘法是Transformer模型的核心，它也面臨類似問題。底層計算庫會根據(jù)輸入的矩陣大小動態(tài)選擇最優(yōu)的并行策略。當批量大小改變時，矩陣的維度隨之改變，庫會切換到不同的策略，導致計算順序差異。

解決方案： 強制使用一個固定的計算策略，確保不管輸入矩陣的批量維度如何，都使用同一套并行方案。這可能導致某些情況下性能并非最優(yōu)，但能保證結果的確定性。

3. 注意力機制（Attention）

注意力是Transformer的靈魂，其計算復雜性更高。尤其在FlashAttention這類高性能實現(xiàn)中，為了提升速度，其反向傳播（Backward）通常會采用一種需要原子加法（Atomic Add）的算法，而原子加法正是非確定性的主要來源。

解決方案： 避免在正向推理中使用任何依賴原子加法的操作，并確保其實現(xiàn)也是批量不變量的。這要求對底層算法有深刻理解和改造。

結論：成為掌握AI的少數(shù)人

總而言之，大模型的“非確定性”并非不可戰(zhàn)勝的玄學。它源于一個核心技術問題：推理服務在處理不同批量大小時，其底層計算策略的動態(tài)切換，導致了微小的數(shù)值差異，并最終改變了輸出。

要獲得可復現(xiàn)的確定性輸出，需要從根本上改造推理引擎，確保其所有核心運算都具備批量不變量的屬性。當然，在某些情況下，為了性能，我們可能需要接受微小的非確定性。

對于普通用戶來說，如果你需要穩(wěn)定、可復現(xiàn)的AI輸出，比如用于自動化報告、代碼生成或關鍵決策輔助，你需要尋找那些明確承諾支持“確定性”的AI服務商。他們通常會在API中提供??seed???（隨機種子）或??deterministic??參數(shù)，為你提供一個可信賴的“確定性”保證。

理解了這一點，你將不再被大模型看似隨意的回答所困擾，而是能更有效地利用它，讓它真正為你所用。

原文鏈接：???https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/??

本文轉載自??草臺AI??，作者：RangerEX