DeepSeek突然擁抱國產GPU語言！TileLang對標CUDA替代Triton，華為昇騰Day0官宣支持適配
DeepSeek v3.2有一個新改動，在論文里完全沒提，只在官方公告中出現一次，卻引起墻裂關注。
開源TileLang版本算子，其受關注程度甚至超過新稀疏注意力機制DSA，從畫線轉發的數量就可以看出來。
圖片
海外社區也注意到DeepSeek使用了它而不是OpenAI開發的Triton語言。
有接觸過的開發者感嘆TileLang是一種非常優雅的語言，只需不到100行代碼就能寫出比Flash Attention 2原版快30%的注意力實現。
圖片
那么什么是TileLang，又為何引人矚目？
首先，TileLang是一種專門用來開發GPU內核的領域專用語言，性能上可以對標英偉達CUDA，DeepSeek官方推薦使用此版本做實驗，在方便調試和快速迭代上有優勢。
更重要的是，TileLang與國產算力生態適配，連華為昇騰都要在第一時間公告對TileLang的支持。
圖片
在幾周前的華為全聯接大會2025的開發者日上，TileLang團隊成員董宇騏就介紹了TileLang實現FlashAttention算子開發，代碼量從500+行減少至80行，并保持了與官方版本持平的性能。
此外TileLang團隊成員王磊和沐曦集成電路的高級總監董兆華也在同一個圓桌沙龍上出現過，討論了沐曦GPU與TileLang的適配。
DeepSeek為什么選擇TileLang
DeepSeek與TileLang第一次同框亮相，其實是在6月的北京智元大會。
在DeepSeek實習過的北大博士袁境陽，在報告中就提到“TileLang的算子實現會更快一點”。
TileLang的發起人之一，北大博士研究生王磊當時還專門發帖感謝DeepSeek嘗試他們的語言。
圖片
TileLang由北大團隊主導開發，核心人物除了王磊、董宇騏，還有北大計算機學院的副研究員、博士生導師楊智。
圖片
2025年1月，TileLang在GitHub上正式開源，至今已獲得1.9k標星。
圖片
簡單來說，Tile語言 ( tile-lang ) 是一種簡潔的領域專用語言，旨在簡化高性能 GPU/CPU 內核的開發。tile-lang采用Python式語法，并在TVM之上構建底層編譯器基礎架構，使開發者能夠專注于提高生產力，而無需犧牲實現最佳性能所需的底層優化。
圖片
王磊曾在7月HyperAI超神經主辦的Meet AI Compiler技術沙龍分享TileLang的核心設計理念：
將調度空間（包括線程綁定、內存布局、張量化和流水線等）與數據流解耦，并將其封裝為一組可自定義的注解和原語。這種方法允許用戶專注于內核的數據流本身，而將大部分優化工作交給編譯器完成。
TileLang將“Tile”作為編程模型的核心概念，通過顯式的Tile抽象，讓開發者能夠直觀地控制數據在全局內存、共享內存和寄存器之間的流動。
TileLang提供了三個不同層次的編程接口，滿足不同水平開發者的需求。
初學者可以使用硬件無關的高層接口，專注于算法邏輯而不必關心底層細節。
有經驗的開發者可以使用ile Library，這里包含了各種針對不同硬件架構優化過的預定義操作。
對于追求極致性能的專家用戶，TileLang還提供了線程原語級別的控制，允許他們直接操作線程同步、內存合并等底層特性。
圖片
DeepSeek顯然就屬于追求極致性能的專家用戶了，根據v3.2公告的說法，在早期DeepSeek團隊使用TileLang快速開發原型，之后用更底層的方法進一步優化性能。
v3.2論文中提到在內核層面共享k-v提升計算效率，讓DSA的閃電索引器機制（lightning indexer）運行速度遠超傳統實現。
圖片
在TileLang的文檔中也有相關的技術介紹，在計算過程中緩存中間數據，比全局內存快得多。
圖片
TileLang與DeepSeek雙向奔赴
更早之前，在DeepSeek連續一周發布開源代碼庫的第一天，王磊就曾向DeepSeek團隊推薦TileLang語言。
圖片
后來TileLang也以DeepSeek在這天發布的FlashMLA內核作為評測基準，在H100上的MLA解碼速度，TileLang編寫的內核做到與FlashMLA相當。
圖片
在最新的DeepSeek v3.2發布之后，王磊也發帖致敬DeepSeek敢于使用一門新的編程語言來開發核心產品。
并且DeepSeek v3.2也驗證了TileLang確實可以用來訓練模型。
圖片
DeepSeek V3.2技術報告：
https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
TileLang：
https://github.com/tile-ai/tilelang
參考鏈接：
[1]https://x.com/Lei_Wang_1999/status/1932331703747698786
[2]https://x.com/nathancgy4/status/1972613835598299245
[3]https://bbs.pku.edu.cn/v2/post-read-single.php?bid=322&postid=28065519
[4]https://hub.baai.ac.cn/view/46173
