在大模型領域，如何將文本數據分解成合適的單元一直是重點研究對象。傳統的分詞方法，如Byte Pair Encoding等，會預先將文本分割成固定粒度的單元，然后構建一個靜態的詞匯表供模型使用。但這種方法存在諸多局限性，一旦分詞完成，模型在后續處理中就只能局限于這些預設的單元，無法靈活地調整對數據的處理方式和預測范圍；

另一方面，對于一些低資源語言或者具有特殊字符結構的文本，這種固定分詞方式往往難以有效處理，限制了模型的泛化能力和應用范圍。

為了解決這些難題，Meta的研究人員開源了創新架構AU-Net，過引入一種自回歸的 U-Net 架構，徹底改變了傳統語言模型的分詞和處理模式。AU-Net 能夠直接從原始字節開始學習，動態地將字節組合成單詞、詞對，甚至多達四個單詞的組合，形成一種多尺度的序列表示。

開源地址：https://github.com/facebookresearch/lingua/tree/main/apps/aunet

AU-Net的架構靈感來源于醫學圖像分割領域的 U-Net 架構，它是一種自回歸的層次化模型，具有獨特的收縮路徑和擴張路徑。收縮路徑的主要作用是對輸入的字節序列進行壓縮處理，通過逐步合并字節來形成更高層次的語義單元，從而提取出文本的宏觀語義信息。

而擴張路徑則負責將這些壓縮后的高層次信息逐步還原，恢復到原始的序列長度，并且在這個過程中將高層次的語義信息融入到更細致的局部細節中，使得模型在不同層次上都能夠捕捉到文本的重要特征。

收縮路徑分為多個階段，每個階段都有其特定的功能和結構。在第一階段，模型直接處理原始字節。這個階段的維度設置為 512，包含 3 層。由于字節級別的序列是最長的，為了保證計算的可行性，模型在這個階段會限制注意力機制的作用范圍，使其僅在一定的窗口內進行操作。這樣的設計既能夠充分利用自注意力機制的優勢，又能夠避免因為序列過長而導致的計算負擔過重的問題。

接下來是第二階段，在這個階段，模型會在單詞邊界處進行池化操作。池化操作是通過選擇特定位置的向量來實現的，這些位置是由預先定義的分割函數確定的。分割函數會根據單詞的起始位置來選取對應的向量，這些向量能夠捕捉到單詞之前的上下文信息。

然后模型將這些向量投影到下一個階段的維度，即 2048 維度，并且這個階段也包含 3 層。通過這種方式，模型能夠將字節級別的信息抽象成單詞級別的語義信息，為后續的高層次處理提供基礎。

第三階段的池化操作則是在每兩個單詞處進行。這個階段的維度進一步增加到 3072，包含 18 層。在這個階段，模型開始處理更大范圍的語義信息，它不僅僅關注單個單詞，而是將兩個單詞作為一個整體來進行處理。這種設計使得模型能夠捕捉到單詞之間的搭配關系和更復雜的語義結構，從而更好地理解文本的含義。

擴張路徑的作用是將收縮路徑中壓縮后的高層次信息逐步還原，并且在這個過程中將高層次的語義信息與局部細節信息進行融合。在擴張路徑中，模型會采用一種稱為多線性上采樣的策略來進行上采樣操作。

模型會將每個粗向量復制多次，以匹配下一個階段的長度，并且為這些復制的向量應用不同的位置特定線性變換。這種策略使得每個位置的向量都能夠根據其在序列中的相對位置進行調整，從而更好地融合高層次的信息和局部細節。

例如，當從每兩個單詞的表示恢復到單詞級別的表示時，模型會為每個單詞位置生成一個獨特的向量。這些向量不僅包含了來自高層次的語義信息，還能夠根據單詞的具體位置進行適當的調整，以更好地捕捉單詞級別的細節特征。通過這種方式，模型能夠逐步恢復序列的長度，并且在這個過程中將高層次的語義信息有效地融入到局部細節中，從而生成更加準確和自然的文本。

在擴張路徑中，模型還會利用跳躍連接來傳遞信息。跳躍連接的作用是將收縮路徑中提取到的細節信息直接傳遞到擴張路徑中的相應階段，從而保證在還原過程中不會丟失重要的局部細節。這些跳躍連接的存在使得模型在不同層次上都能夠同時獲取到高層次的語義信息和局部細節信息，進一步提高了模型的生成能力和預測準確性。

在推理階段，AU-Net 采用自回歸的生成機制。字節級別的階段會在每一步都保持活躍，而更深層次的階段則根據池化模式以較低的頻率激活。這種自回歸的生成方式不僅保證了生成文本的連貫性和準確性，還提高了推理效率。

自回歸生成機制的優勢在于它能夠確保模型在每一步生成過程中都能夠充分考慮到前面已經生成的內容以及深層次的語義信息。通過這種方式，模型能夠生成更加自然和準確的文本，避免了可能出現的語義不連貫或者語法錯誤等問題。同時，由于更深層次的階段不是在每一步都激活，這大大減少了計算量，提高了推理的速度，使得 AU-Net 在實際應用中更加高效和實用。