核心要點速覽

機器學習中的擴散模型是什么？

擴散模型屬于生成模型（它們生成的數據與訓練數據相似）。擴散模型的運作遵循兩個簡單步驟：首先，通過逐步添加高斯噪聲來破壞訓練數據；而訓練過程則是通過逆向這個添加噪聲的過程來恢復數據。一個訓練良好的擴散模型能夠從隨機噪聲中生成我們想要的任何內容。如果把噪聲替換為嵌入空間，你可能就能理解其中的原理了。

擴散模型的優勢

擴散模型有 4 個主要優點，使其在基于文本的生成領域具有很大的投資潛力：

• 高質量生成：擴散模型生成的輸出質量和真實感都非常出色，在許多任務中都超越了以往的生成模型。

• 通用性強：它們適用于多種數據模態，包括圖像、音頻、分子等。
• 可控性高：擴散模型在生成過程中具有一定的可控性，用戶可以根據特定需求或條件引導輸出。而且，它們還可以在生成過程中中途停止，比傳統設置更加靈活。
• 反饋信號更佳：評估一個有缺陷的輸出比評估一個不完整的輸出要容易（給一段有錯誤或結構低效的代碼提供反饋，比給邏輯缺失一半且結尾邏輯也不完整的代碼提供反饋要容易）。這使得擴散大語言模型在生成過程中能夠進行 “思考”，而不是像現在普遍的那樣，僅在生成前（規劃）或生成后（批評和迭代）進行思考。

Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models^[2]

擴散語言模型中的思維鏈推理

擴散模型的缺點

從其設計原理可以明顯看出，擴散模型的計算成本非常高。雖然有研究致力于降低成本，但這仍然是擴散模型的一大痛點。

擴散模型表現出色的原因

就其本質而言，擴散模型在每次推理步驟中都會全面地審視數據點。在這個過程中，它們結合了兩種優秀生成器的優點：

• 與生成對抗網絡（GANs）這樣的生成器相比，擴散模型可以分多個步驟生成輸出，讓我們能夠更精細地控制（想想一次性完成復雜任務有多難）。
• 與自回歸模型（像 ChatGPT 這樣的大語言模型使用的模型）相比，擴散模型具有更大的靈活性（我們可以在任何時候停止生成，并且得到的結果在一定程度上是可用的）。
• 最后，添加噪聲和去除噪聲的過程類似于強大的數據增強，模型在這個過程中被迫建立特征之間更深層次的聯系，從而確保更好的安全性。

生成式學習因其在數據分布建模方面的有效性而受到認可，在處理分布外實例方面具有內在優勢，特別是在增強對抗攻擊的魯棒性方面。在這些方法中，利用強大擴散模型的擴散分類器已證明具有卓越的實證魯棒性……實驗結果表明，這些加噪擴散分類器（NDCs）具有卓越的可證明魯棒性。值得注意的是，在對抗擾動的(\ell_2)范數小于 0.25 和 0.5 的情況下，使用單個現成的擴散模型，無需任何額外數據，我們在 CIFAR-10 數據集上分別實現了超過 80%和 70%的可證明魯棒性?！?摘自論文《Your Diffusion Model is Secretly a Certifiably Robust Classifier^[3]》。

我們還可以將擴散模型與其他模型很好地結合，從而產生非常酷炫的應用（以及我們喜歡的備受贊譽的智能體架構）。

還有一個雖然顯而易見但仍然重要的事實是，擴散模型的并行化能力更強，因為它們可以并行運行去噪鏈，而自回歸模型必須等待最后一個令牌生成完成（不過，Spec Decoding 技術可能對此有不同的影響）。這使得像 Mercury 這樣的模型速度大幅提升：

真正讓基于擴散的大語言模型（dLLMs）脫穎而出的是它們的速度。即使是經過速度優化的自回歸模型，每秒最多也只能處理 200 個令牌，而我們可以在商用 NVIDIA H100 上以每秒超過 1000 個令牌的速度運行 Mercury Coder，速度提升了 5 倍。與一些前沿模型相比，這些模型每秒處理的令牌數不到 50 個，我們的速度提升超過 20 倍。

基于擴散的大語言模型所實現的吞吐量，以前只有使用 Groq、Cerebras 和 SambaNova 等專用硬件才能達到。我們的算法改進與硬件加速相互獨立，并且在更快的芯片上使用時，速度提升效果會更加顯著。

一旦我們了解了這些背景知識，那么我們就必須進一步思考擴散模型未來的發展方向。下面是一些深入的思考，這些思考或許應該被陳列在博物館中，以見證人類智慧的高度：

• 短期：降低成本并證明價值 擴散模型的計算成本很高。Mercury 展示的較少迭代次數和較高吞吐量并不能直接說明問題（因為擴散模型每次推理的成本要高得多，抵消了迭代次數減少帶來的優勢）。我們需要一些新的合理成本指標，才能公平地將 dLLMs 與自回歸模型進行比較。 - 開發更好的成本指標（如浮點運算次數、并行化能力、延遲），并與自回歸模型進行基準測試對比。 - 通過自適應步長縮減、可學習的停止準則和高效的調度來優化去噪過程，以減少計算開銷。 - 完善用于評估全局連貫性、約束一致性和推理質量的評估指標，以便更好地評估模型性能。
• 中期：突破硬令牌限制 兩個特別重要的發展趨勢： - 朝著連續語言空間發展，消除分詞限制，基于概念實現對語言更 “穩健” 的理解，從而生成更自然的文本。 - 實現生成過程中的推理，讓人工智能在最終確定輸出之前進行模擬和優化，提高邏輯一致性和連貫性。
• 長期：實現終身學習和自我進化的個性化大語言模型

dLLMs 可以模糊訓練和推理之間的界限，實現實時模型自適應，使模型能夠持續改進。這基于它們在生成過程中進行自適應的能力，最終也應該能讓我們根據用戶反饋和行為進行訓練。 - 為每個用戶個性化定制擴散空間，動態地優化人工智能的行為，以滿足特定的需求和偏好。 - 在潛在空間中進行個性化定制/修改比微調等技術成本更低，這可以實現高度的個性化。我們在 IQIDIS（我們的法律人工智能初創公司）進行了測試，到目前為止，每一位使用過的律師都對此印象深刻。雖然還處于早期階段，但如果能夠合理利用潛在空間，其潛力巨大。

然而，在實現個性化/自學習方面，仍然存在兩個主要問題：

• 遺忘舊信息：鑒于潛在空間的相互關聯性，可能會產生很多連鎖反應，就我目前所知，精確地遺忘特定信息似乎是不可能的（但也可能是我想象力不夠）。
• 注入新信息（尤其是在信息來源稀少的情況下）：就模型本身而言，還沒有找到很好的解決辦法（可能需要使用像檢索增強生成（RAG）這樣的外部設置）。或許改進模型交互方式并提取外部保存的上下文信息就足夠了，但我很想聽聽你的想法。大家有沒有研究過或遇到過什么有趣的思路呢？

具體來說，我們設計了一種幾何蛋白質 - 分子相互作用網絡（PMINet），并使用結合親和力信號對其進行預訓練，以：（i）檢索與目標具有高結合親和力的配體分子作為參考，（ii）通過兩種有效的增強機制，即檢索增強和自我增強，整合關鍵的蛋白質 - 配體結合結構，以指導分子擴散生成。在CrossDocked2020數據集上的實證研究表明，IRDIFF可以生成具有更逼真3D結構的分子，并在保持適當分子特性的同時，實現對蛋白質靶點的最先進結合親和力。

這些想法中有些可能不會成功。但即使只有一小部分想法得以實現 —— 比如連續語言空間、自我改進的推理能力和人工智能的終身學習，都可能重新定義我們所熟知的人工智能。這不僅僅是對大語言模型的漸進式升級。

與現有的代碼模型相比，開發者更喜歡 Mercury 的代碼補全功能。在 Copilot Arena 的基準測試中，Mercury Coder Mini 并列第二名，超過了像 GPT-4o Mini 和 Gemini-1.5-Flash 這樣經過速度優化的模型，甚至超過了像 GPT-4o 這樣更大的模型。同時，它也是速度最快的模型，比 GPT-4o Mini 快約 4 倍?！?摘自 Mercury 發布的信息

深入探討：擴散模型為何值得研究

什么是擴散模型

正如前面所討論的，擴散模型基于對輸入進行添加噪聲和去除噪聲的過程。雖然具體細節有所不同，但我們可以將基于擴散的生成過程歸結為兩個步驟：

• 正向擴散：我們選取一個數據樣本，比如一張圖片，在每一步迭代中逐步添加少量高斯噪聲。這個過程會逐漸破壞圖片，直到它變成無法辨認的噪聲。模型會學習每一步添加的噪聲模式，這對反向過程至關重要。

• 反向擴散：我們將第一步得到的純噪聲作為輸入。模型預測正向過程中每一步添加的噪聲并將其去除，這個過程會逐步對輸入進行去噪，使其逐漸轉變為有意義的數據樣本。

既然存在其他技術，為什么還要使用擴散模型呢（尤其是考慮到其成本）？對于這個問題，我們可以從兩個方面來回答。首先，我們將探討擴散模型的實際優勢，然后，推測其生成效果更好的原因。

擴散模型的優勢

從本質上講，整個擴散過程為我們帶來了 4 個方面的優勢：

• 高質量生成：擴散模型生成的數據質量和真實感都非常出色，在許多任務中往往超越了以往的生成模型。這得益于它們能夠通過迭代去噪過程細致地學習潛在的數據分布。從純噪聲逐漸穩定地優化為連貫的數據樣本，這一過程使得輸出結果高度逼真。最近的一篇論文表明，在各種基準測試中，擴散大語言模型在相同的浮點運算次數范圍內，表現優于或與自回歸基準模型相當。

自回歸模型（ARMs）被廣泛認為是大語言模型（LLMs）的基石。我們通過引入LLaDA來挑戰這一觀點，LLaDA是一種在預訓練和監督微調（SFT）范式下從頭開始訓練的擴散模型。LLaDA通過正向數據掩碼過程和反向過程對分布進行建模，由一個普通的Transformer參數化來預測掩碼令牌。通過優化似然邊界，它為概率推理提供了一種有原則的生成方法。在廣泛的基準測試中，LLaDA展示出了強大的可擴展性，優于我們自建的自回歸模型基線。值得注意的是，LLaDA 8B在上下文學習方面與強大的LLMs（如LLaMA3 8B）具有競爭力，并且在經過監督微調后，在多輪對話等案例研究中表現出令人印象深刻的指令遵循能力。此外，LLaDA解決了反轉詛咒問題，在反轉詩歌完成任務中超越了GPT-4o。我們的研究結果表明，擴散模型是自回歸模型的可行且有前途的替代方案，挑戰了上述關鍵大語言模型能力與自回歸模型固有聯系的假設。

• 通用性：擴散模型非常靈活，可廣泛應用于多種數據模態，包括圖像、音頻、分子等。這種通用性源于模型操縱噪聲的核心機制，該概念可應用于任何以數字形式表示的數據類型。無論是圖像中的像素、聲波中的振幅，還是分子中的原子，擴散模型都能學習生成和操縱它們。此外，擴散模型還可根據不同的應用場景進行調整，使其非常適合多模態設置。
• 逐步控制：擴散模型的逐步生成過程讓用戶能夠更好地控制最終輸出。與傳統的一次性生成輸出的生成模型不同，擴散模型從噪聲逐步優化生成數據樣本。這不僅提高了透明度，還讓我們能夠在生成過程中進行干預，嘗試新的方向。
• 與其他工具結合用于智能體擴散模型更完整的逐步生成過程有助于更好地分析模型當前狀態，從而實現更強大的思維模型和評估器。這可能就是為什么 Mercury 盡管在人才和模型訓練方面投入的資金可能較少（而且關于基于擴散的文本生成器的信息也相對較少），但仍能與傳統的行業巨頭相媲美的原因。我認為很多人都忽視了這一點。這也是擴散引導語言建模（DGLM）在文本生成的屬性控制方面（甚至是同時控制多個屬性）優于其他技術的原因之一，因為屬性控制器作用于完整生成的擴散引導（而不是不完整的自回歸解碼設置）。

與之對比，Anthropic 的憲法分類器旨在實現部分類似功能（防止模型被惡意利用）。它需要對完整文本（包括用戶輸入和模型生成的完整輸出）使用分類器。

但這會顯著降低你輸出內容的屬性控制和細微差別。

但為什么擴散模型能有這么好的效果呢？我覺得目前還沒有太多正式的解釋，所以讓我們來進行一些理論探討。

為什么擴散模型如此出色

以撰寫本文這樣的復雜生成任務為例。像生成對抗網絡（GANs）這樣的傳統生成器會一次性生成所有內容。隨著任務復雜度的增加，這變得極其困難。想象一下，往畫布上潑一次顏料就畫出一幅細節豐富的場景有多難，這基本上就是 GAN 所做的事情。

自回歸的擴展性更好，能讓我們的模型處理更復雜的任務。由于自回歸是逐步進行的，你還可以在中途停止生成或者改變方向。這是自回歸相對于傳統生成器的兩個優勢。然而，自回歸模型也可能會陷入困境（我相信我們都有過這樣的體驗）?；氐綄懳恼碌睦樱跊]有清晰規劃的情況下，僅靠自動補全功能很難寫出好文章。純粹的自回歸也會很快出現問題，因為我們無法回過頭去編輯之前生成的內容。

擴散模型和自回歸一樣有逐步生成的優勢，但又有所不同。因為在每個時間步我們都對整個輸入進行去噪，擴散模型讓我們能更好地結合上下文。與傳統的大語言模型不同，它不會在錯誤的基礎上繼續生成，因為每次迭代都會進行去噪步驟。

擴散大語言模型的未來走向

短期挑戰：成本、效率與證明實際價值

將擴散大語言模型（dLLMs）與自回歸（AR）模型進行比較并不像看起來那么簡單。Mercury 發布的成果強調更高的吞吐量和更少的迭代次數，以此作為效率的標志，但這并不能說明全部情況。擴散模型每次推理的成本仍然高得多，這抵消了許多看似提高的速度優勢。為了取得進展，我們需要更好的性能衡量方法，既要考慮原始計算成本，也要考慮實際可用性。

計算效率不僅僅關乎浮點運算次數（FLOPs）。雖然 FLOPs 能大致反映工作量，但它并不能告訴我們模型對現代硬件的利用程度。擴散模型具有巨大的并行化潛力，而這是自回歸模型根本缺乏的（有趣的是，這就是早期大語言模型能擊敗循環神經網絡的原因，因為大語言模型可以并行訓練，而循環神經網絡不行）。

由于 dLLMs 能一次性處理整個序列，理論上它們可以充分利用張量核心和高內存帶寬。如果優化得當，在大規模部署中，擴散模型實際上可以更高效地運行，因為批量處理和并行推理在這種場景下至關重要。但這是個很大的“如果” 。研究界需要在實際場景中進行基準測試，以檢驗這種優勢是否能轉化為有意義的吞吐量提升。

延遲是 dLLMs 需要更好評估的另一個方面。目前，基準測試通常比較首個令牌生成時間，這對自回歸模型有利，因為它們是按順序輸出單詞的。但這并不能反映全貌。如果擴散模型生成完整、連貫草稿的速度比自回歸模型生成前幾個單詞的速度還快呢？這可能會帶來全新的交互模式，用戶可以立即得到完整的回復進行評估，而不是看著人工智能實時逐字輸出答案。用質量與時間的曲線來衡量這種權衡，比依賴單一時間點的延遲比較更好。

短期內最大的挑戰是優化。自適應去噪調度可以根據內容的復雜程度調整細化步驟的數量，從而減少不必要的計算。這可以通過兩種方式實現：

• 簡單的輸出需要較少的迭代次數，而復雜的推理任務則需要額外的處理。
• 構建可學習的停止標準，即模型一旦達到高置信度閾值就停止生成，而不是遵循固定的步數。

這些技術可以在不犧牲質量的前提下顯著降低成本。

除了效率，我們還需要更好的評估指標。目前，大多數基準測試都側重于令牌級別的準確性，但擴散模型帶來了全新的優勢，這些優勢并沒有得到恰當的衡量。

• 全局連貫性：模型在長篇內容中保持邏輯一致性的能力，這是 dLLMs 可能真正具有優勢的一個方面。與自回歸模型不同，自回歸模型在生成每個令牌時就確定下來，而擴散模型可以在生成過程中完善前面的部分，有可能產生內部更加一致的輸出。
• 約束對齊：遵循特定指令、嚴格的格式規則并保持事實準確性。擴散模型的迭代特性可能使其比自回歸模型更擅長遵守復雜的約束，自回歸模型經常會偏離軌道。

這些短期優化不僅僅是為了讓擴散模型運行得更快。它們為更宏大的目標奠定了基礎。如果我們能夠準確量化成本效益的權衡，dLLMs 就不僅僅是自回歸模型的一個有趣替代方案，我們將能夠更好地分析何時/如何選擇使用其中一種模型，或者如何將它們結合起來。

在這個階段取得的突破，無論是在硬件利用、效率策略還是更好的評估指標方面，都將直接塑造下一代人工智能模型。

中期目標：擁抱連續潛在空間

這是 dLLM 革命真正能夠發力的地方。

我們可以讓 dLLMs 在流暢、連續的潛在空間中運行，而不是使用 “硬令牌”。Meta 已經廣泛討論了這種做法的好處。

Large Concept Models: Language Modeling in a Sentence Representation Space^[4]“大語言模型已經徹底改變了人工智能領域，并已成為許多任務的事實上的工具。目前大語言模型的成熟技術是在令牌級別處理輸入和生成輸出。這與人類的處理方式形成鮮明對比，人類在多個抽象層次上進行操作，遠遠超越單個單詞，以分析信息并生成創造性內容。在本文中，我們嘗試構建一種基于明確的高級語義表示進行操作的架構，我們將其命名為‘概念’。概念與語言和模態無關，代表流程中的更高級的想法或行動。因此，我們構建了一個‘大型概念模型’。在本研究中，為了證明可行性，我們假設一個概念對應一個句子，并使用現有的句子嵌入空間 SONAR，它支持多達 200 種語言的文本和語音模態。大型概念模型經過訓練，在嵌入空間中執行自回歸句子預測。我們探索了多種方法，即均方誤差回歸、基于擴散的生成變體，以及在量化的 SONAR 空間中運行的模型。這些探索使用了 16 億參數的模型和大約 1300 億令牌的訓練數據。然后，我們將一種架構擴展到 70 億參數的模型和大約 7700 億令牌的訓練數據。我們對幾個生成任務進行了實驗評估，即摘要生成和一個新的任務——摘要擴展。最后，我們展示了我們的模型在許多語言上展現出令人印象深刻的零樣本泛化性能，優于相同規模的現有大語言模型。我們模型的訓練代碼是免費提供的?！?/p>

這不僅僅是一個技術細節，而是一種范式轉變。我們正從將語言表示為離散符號序列，轉向將其編碼為豐富、微妙的意義圖景。使用更柔和的決策邊界可以實現更好的穩定性，減少突兀感，如果你的模型能夠實現，就能提高性能：

稀疏MoE層（左）中的路由器學習將單個輸入令牌分配給每個可用插槽，而在軟MoE層（右）中，每個插槽是所有輸入令牌的（不同）加權平均值的結果

在這個連續空間中，微妙的變化代表了令牌根本無法捕捉的細微差別。這可以使 dLLMs 變得極其強大，更不容易出錯，更擅長理解釋義，并且對各種寫作風格的適應性更強。這個潛在空間可能是解鎖更好概念理解的關鍵。dLLMs 不再將單詞作為孤立的單元進行處理，而是可以操縱潛在的概念，在更深、更抽象的層面上理解意義。就像在圖像生成中一樣，這個連續空間允許無縫插值，以基于令牌的模型無法做到的方式融合想法、風格和概念。

真正改變游戲規則的是生成過程中的推理。我們已經多次提到這一點，所以在這里就不再過多重復。一旦我們有了良好的評估方法，就可以開始串聯多個評分器、評估器和 “探索器”，它們可以在生成過程的特定步驟進行觀察，并決定即時切換路徑或重寫計劃。這將開啟當前系統中不存在的新的靈活性水平。

一旦你開始在潛在空間中很好地表示概念，就可以實現當前環境中不存在的、令人驚嘆的個性化程度（這可能就是為什么 Meta 如此大力推動基于潛在空間的推理）。

長期愿景：在潛在空間中發展人工智能

擴散大語言模型的真正潛力不僅僅在于更好的文本生成或推理。隨著它們的成熟，它們可能會從根本上改變人工智能的學習和適應方式。目前訓練和推理之間的界限，這是當今模型的一個決定性限制，可能會消失，從而產生通過交互不斷進化的系統。

擴散模型特別適合這一點，因為它們不僅僅是逐步生成文本，還會對其進行修訂和完善。與按順序確定每個令牌的自回歸模型不同，擴散模型可以重新處理其輸出的前面部分，在生成過程中整合新信息（很抱歉，你可能已經聽膩了我反復強調這一點，但這真的很重要）。這為無需昂貴的重新訓練就能實時適應的人工智能打開了大門。

具有潛在擴散模型的高分辨率圖像合成

High-Resolution Image Synthesis with Latent Diffusion Models^[5]

這種適應性最直接的影響就是個性化。目前，調整人工智能的行為需要提示工程（重復繁瑣）或微調（計算成本高且有過擬合風險）。擴散模型提供了一種更高效的替代方案，即修改潛在空間表示，而不是重新訓練整個模型。這將使人工智能能夠以低得多的計算開銷形成特定用戶的風格、偏好和推理方式。

自回歸模型也可以做到這一點（最簡單的方法是通過提示，但擴散模型在這方面的額外優勢將使其實現更加嚴格和完整）。

Reference

[1] 加群鏈接: ??https://docs.qq.com/doc/DS3VGS0NFVHNRR0Ru#??

[2] Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models: ??https://arxiv.org/abs/2402.07754??

[3] Your Diffusion Model is Secretly a Certifiably Robust Classifier: ??https://arxiv.org/abs/2402.02316??

[4] Large Concept Models: Language Modeling in a Sentence Representation Space: ??https://ai.meta.com/research/publications/large-concept-models-language-modeling-in-a-sentence-representation-space/??

[5] High-Resolution Image Synthesis with Latent Diffusion Models: ???https://arxiv.org/abs/2112.10752??

本文轉載自??柏企科技圈??，作者：柏企 ????