Glyph：智譜AI用“視覺壓縮”讓上下文延長到100萬Token的新思路 原創
一、上下文瓶頸：大模型的隱形天花板
在大語言模型（LLM）快速演化的這兩年，性能的提升早已不只是“誰的參數多、算力強”的問題。上下文長度（Context Length），也就是模型一次能理解的文本量，成為了新的競爭焦點。
舉個例子：
- GPT-4o 支持 128K tokens（大約幾百頁文本）；
- Claude 3.5 claims 可達 200K；
- Gemini 1.5 更是放出“100萬 token”的驚人數字。
但現實是——上下文越長，成本和延遲就成倍上升。原因在于，傳統 Transformer 的注意力機制（Attention）計算量與 token 數量是平方級關系。 換句話說，輸入從 128K 翻到 1M，計算量可能漲幾十倍。
于是，各種“省算力”的方案層出不窮：
- 有的在算法上做稀疏 Attention（如 Longformer、Mamba）；
- 有的用檢索（Retrieval）技術挑重點輸入；
- 還有的直接擴展位置編碼（RoPE、ALiBi）。
但這些方法都有硬傷：
- 稀疏 Attention犧牲了上下文的完整性；
- 檢索容易漏掉關鍵信息；
- 位置編碼雖然能“撐長”，但計算和內存成本并沒有減。
這就是智譜AI團隊想要解決的關鍵瓶頸。
二、Glyph的突破：把文字變成圖像，再交給視覺語言模型
智譜AI的研究團隊提出了一個相當大膽的設想：
如果我們不讓模型“讀字”，而是讓它“看圖”呢？
他們的新框架 Glyph，正是基于這個想法誕生的。
簡單來說，Glyph 的核心流程是這樣的：
- 把超長文本渲染成頁面圖像——類似電子書截圖；
- 用視覺語言模型（VLM）讀取這些圖像；
- 讓每個視覺token代表多個字符或單詞，實現信息壓縮。
這樣做的好處是顯而易見的：
- 每個視覺 token 承載的信息密度遠超文本 token；
- 模型一次能“看”更多內容；
- 同時還能保留語義和排版結構（如標題、表格、引用等）。
最終，Glyph 在不損失精度的前提下，實現了 3~4倍的token壓縮率。 這意味著：一個原本需要 128K token 的文本，現在只需要約 30K~40K 視覺 token 就能處理完。 甚至在極限場景下，Glyph 讓 128K 的模型成功應對了原本 百萬級上下文任務。
這無疑是一次范式的轉變： 從“語言建模”到“視覺-語言融合建?！?，Glyph 把長上下文問題轉化成了多模態壓縮問題。
三、系統架構：從渲染、搜索到訓練的三步曲
Glyph 的整個訓練與優化過程非常系統，分為三大階段：
1?? 持續預訓練（Continual Pretraining）
團隊首先在大量渲染后的文本圖像上進行預訓練。 這些圖像涵蓋了不同字體、字號、排版、行距等變化，以此讓模型熟悉各種視覺文本樣式。 目標是讓模型在“看圖識字”的過程中，建立視覺token與文字語義的映射關系。
2?? LLM驅動的渲染搜索（Rendering Search）
這是 Glyph 的“黑科技”部分。 研究團隊讓一個 LLM 來主導搜索最佳的渲染參數組合—— 包括頁面大小、dpi、字體、縮進、對齊方式、行高、間距等。
它用類似遺傳算法（genetic loop）的方式不斷變異、評估、優化， 以找到壓縮率和識別準確率之間的最優平衡點。
這一步很關鍵，因為如果字體太小或排版太緊，OCR精度就會下降； 而字體太大、行距太寬，又會降低壓縮效率。
3?? 后訓練（Post Training）
在最后階段，團隊采用了監督微調（SFT）+ 強化學習（RL）的混合訓練流程。 其中強化學習部分使用了 Group Relative Policy Optimization（GRPO） 算法， 并額外加入了 OCR對齊損失（Alignment Loss）， 以保證在高壓縮狀態下，字符識別依然準確無誤。
最終，這套流程讓 Glyph 不僅能“看懂”文字，還能“記住”長文邏輯。
四、實測結果：3倍壓縮、4倍提速、語義不丟
智譜AI在多個長上下文評測集上驗證了 Glyph 的性能，包括：
- LongBench（長對話與上下文任務）
- MRCR（多文檔閱讀任務）
- Ruler（長輸入魯棒性測試）
核心結果非常亮眼：
- 平均有效壓縮率約3.3倍，部分任務可達5倍；
- 在 128K 輸入下，推理前填充（Prefill）提速約4.8倍；
- 解碼速度提升約4.4倍；
- 微調吞吐量提升約2倍；
- 精度幾乎與 8B 參數級別的強基線（如 Qwen3 8B）持平。
此外，Glyph 在多模態文檔理解任務（MMLongBench Doc）上表現也更優， 證明它的“視覺壓縮”不僅節省token，也增強了模型的布局與圖文推理能力。
不過，研究團隊也坦言：Glyph 的主要瓶頸在于對排版敏感。 如果字體太小、間距太緊，尤其是帶有UUID這類稀有字符串時，OCR性能會下降。 因此，實際部署仍需要較強的服務端渲染能力和OCR先驗知識。
五、應用前景：為百萬Token時代鋪路
Glyph 的出現，實際上打開了大模型「長上下文」的新方向。 它不再單純依賴算法結構優化，而是通過視覺層面的信息壓縮實現性能提升。
這種思路的潛力遠不止上下文擴展：
1?? 文檔級推理（Document Reasoning）在企業應用中，大模型常需要分析長達數百頁的報告、專利或合同。 Glyph 的渲染機制讓模型直接“看”文檔頁，理解圖表、標題、段落布局。 這意味著多模態文檔AI的門檻大幅降低。
2?? RAG系統加速（Retrieval-Augmented Generation）傳統RAG要先檢索、再分塊、再拼接輸入，過程復雜且昂貴。 若采用Glyph式壓縮，可讓模型一次“看下”更大語料， 檢索模塊甚至可以被弱化或替代。
3?? 推理成本降低在模型服務中，推理速度和顯存成本是最關鍵的經濟因素。 Glyph的4倍提速意味著同等算力下可服務更多用戶， 這對于大規模API服務、企業私有部署、以及Agent系統尤為重要。
4?? 視覺-語言一體化趨勢Glyph 也預示了一個趨勢：語言模型正在成為真正的多模態智能體。從文本、語音、圖像到視頻，統一的表征空間正在形成， 未來“輸入是什么格式”將不再重要，模型都能理解。
六、智譜AI的布局：從GLM到Glyph
對于智譜AI來說，Glyph 并不是一次“孤立實驗”。 它實際上是繼 GLM系列 之后， 智譜在“通用智能架構”探索中的又一步。
GLM 強調語言能力的通用性， 而 Glyph 則瞄準 長記憶與高效推理 這兩大痛點。 兩者結合，意味著智譜在構建“可擴展智能體”方面的路線愈發清晰：
- 讓模型更懂語言（GLM）；
- 讓模型記得更多（Glyph）；
- 最終形成能自主規劃的多模態Agent生態。
在這一點上，Glyph 的意義甚至超越了壓縮技術本身—— 它為百萬級上下文、低延遲推理的 AI 未來，提供了一個實際可行的路徑。
七、總結與展望
Glyph 代表了一種顛覆性思路： 不去“擴容”模型的注意力，而是重新定義輸入的表示方式。
通過視覺化壓縮，Glyph 將超長文本轉化為圖像， 讓視覺語言模型在更高的信息密度下工作， 從而在算力受限的前提下實現百萬級上下文的理解與生成。
這種跨模態的巧思，讓人看到了一種全新的可能： 未來的大模型，也許不再是“記得多”就強， 而是“壓得巧”更強。
想象一下，當文檔、網頁、視頻字幕都能被渲染為模型可視的“知識圖頁”， 那時，AI 讀世界的方式，可能真的會像人一樣，用“眼睛”去理解語義。
本文轉載自???Halo咯咯?? 作者：基咯咯
