別問樹模型了!死磕結(jié)構(gòu)化數(shù)據(jù),清華團隊把大模型表格理解推到極限
科幻作家劉慈欣在小說《超新星紀元》中描述了一個令人難忘的場景——幾個十幾歲的孩子被帶到一個小山環(huán)繞的地方,他們的面前是一條單軌鐵路,上面停著十一列載貨火車,每列車有二十節(jié)車皮。這些車首尾相接成一個巨大的弧形,根本看不到盡頭。這些車中,其中一列裝的是味精,另外十列裝的是鹽。
「這么多的味精和鹽夠我們國家所有的公民吃多長時間?」帶孩子們來的大人向他們提問。「一年?」「五年?」「十年?」沒有一個孩子答對。最后的答案讓他們目瞪口呆:「只夠一天」。
這個場景之所以令人難忘,是因為它以一種非常具象的方式向我們展示了這個世界的運轉(zhuǎn)多么難以被普通人準確感知。它的背后是海量的精確數(shù)字:負責供應鹽和味精的部門需要算出每個周期要生產(chǎn)多少才能滿足需求;負責生產(chǎn)的工廠要監(jiān)控機器運轉(zhuǎn)情況,從一堆精確卻晦澀難懂的數(shù)字、代碼中讀出問題;而給機器供電的電力系統(tǒng)也要監(jiān)測和變壓器相關的一切數(shù)據(jù),避免非計劃停機帶來高昂的搶修成本和難以估量的用戶損失。
這個世界,就是以這樣一種精確的方式運轉(zhuǎn)著。那些數(shù)字就像我們每天呼吸的空氣,你可能感覺不到它們的存在,但一旦它們出了問題,你的感知將會非常強烈。
也正因如此,這些數(shù)據(jù)的處理至關重要。由于這些數(shù)據(jù)往往以固定的行列格式組織,數(shù)據(jù)之間的結(jié)構(gòu)關系是預先定義好的,因此也被稱為「結(jié)構(gòu)化數(shù)據(jù)」。可以說,我們在工業(yè)化社會體驗到的幾乎所有便利,背后都依賴著這些結(jié)構(gòu)化數(shù)據(jù)的理解、處理與預測。
然而,在 AI 席卷一切的今天,處理這些最基礎的數(shù)據(jù),卻成了最大的痛點。
我們寄希望于看似無所不能的 LLM 大模型。但現(xiàn)實很骨感:LLM 擅長寫詩與編程,但卻很難讀懂一張簡單的電子表格,因為 LLM 的建模方式(涉及到文本的模糊性)與結(jié)構(gòu)化數(shù)據(jù)所要求的精確性存在巨大 gap,一直達不到生產(chǎn)要求。
這一現(xiàn)狀也導致,整個行業(yè)都還在用已經(jīng)存在了十幾年的專用模型,每遇到一個新的數(shù)據(jù)集或者一個新任務可能就要重新訓練一個。這就好比為了喝一杯新口味的咖啡,你必須重新造一臺咖啡機。這種低效的生產(chǎn)方式與始終追求高效率、強泛化能力的 LLM 領域形成了鮮明對比,也成了阻礙產(chǎn)業(yè)發(fā)展的一大瓶頸。
這也是為什么,前段時間清華大學與穩(wěn)準智能聯(lián)合發(fā)布的 LimiX 系列模型讓人眼前一亮。作為他們提出的「LDM(結(jié)構(gòu)化數(shù)據(jù)大模型)」的重要成員,LimiX 做到了 LLM 沒有做到的事情,把結(jié)構(gòu)化數(shù)據(jù)的處理帶入了大模型時代。這會改變整個工業(yè) AI 的游戲規(guī)則,成為 LLM、具身智能之外通往 AGI 的另一大關鍵路徑。


第一次,在結(jié)構(gòu)化數(shù)據(jù)上
做到了「通用」!
為什么說 LimiX 的出現(xiàn)有著劃時代的意義?
本質(zhì)是因為,它第一次在結(jié)構(gòu)化數(shù)據(jù)領域把「通用」這件事做成了!

參加過 Kaggle 的同學都知道,結(jié)構(gòu)化數(shù)據(jù)領域有很多任務,比如分類、回歸、缺失值填補、高維表征抽取、分布外泛化預測……比如根據(jù)年齡、艙位等級等乘客特征預測泰坦尼克號乘客是否幸存(分類),基于鉆石的克拉重量、切工、顏色、凈度等屬性預測鉆石售價的連續(xù)值(回歸)等。當然,現(xiàn)實世界的問題遠比這些復雜。
在過去的十幾年里,解決這些問題主要依靠梯度提升樹模型(比如 2014 年發(fā)布的 XGBoost、2017 年發(fā)布的 CatBoost 等)或 AutoML 集成模型(比如亞馬遜在 2020 年提出的 AutoGluon)。就像我們前面所說的,這些模型都是專有模型,每次遇到新任務或新數(shù)據(jù)集都要重新訓練。這和早就實現(xiàn)一個模型通吃各種任務的NLP領域相比,簡直落后了不止一個版本!
當然,這些年,有不少研究者嘗試將深度學習甚至基礎模型思想引入結(jié)構(gòu)化處理領域,像德國 Prior Labs 團隊提出的 TabPFN、法國 INRIA 團隊提出的 TabICL、加拿大 Layer 6 AI 團隊提出的 TabDPT 等都是這一方向的代表。但這些工作都有個特點:它們本質(zhì)上還是針對不同的任務分別去做專門的預訓練,并沒有做到真正的通用,而且對于高質(zhì)量的缺失值填補等任務,很多方法還無法解決。
LimiX 模型(今年8月份發(fā)布的 LimiX-16M, LDM 系列的首款模型)是一個打破僵局的存在。它在性能上碾壓前述基礎模型,超越 XGBoost、CatBoost、AutoGluon 這樣的傳統(tǒng)專用模型更是不在話下。

- LimiX官網(wǎng):https://www.limix.ai/
- 技術報告:https://arxiv.org/pdf/2509.03505
- HuggingFace鏈接:https://huggingface.co/stableai-org
更重要的是,它第一次做到了真正的通用,也就是一個模型,在不進行二次訓練的情況下,就能用于分類、回歸、缺失值填補、高維表征抽取、因果推斷等多達 10 類任務。
簡單來說,LimiX 不再像傳統(tǒng)模型那樣死記硬背某個特定表格的規(guī)則,而是通過學習海量數(shù)據(jù),能夠自主發(fā)現(xiàn)樣本之間和變量之間的關系并適應不同類型的任務。這使得 LimiX 擁有了類似 GPT 的能力:一個模型,通吃所有任務。對于LLM領域的研究者來說,這個劇情應該很熟悉了,當年語言模型的突破,就是從「橫掃xx項NLP記錄」開始的。
同時,LimiX 在 benchmark 上的一路領先,也讓我們看到了一些優(yōu)秀 LLM 的來時路。
比如在一場分類任務的對決中,LimiX-16M 在 58.6% 的數(shù)據(jù)集上都取得了最優(yōu)結(jié)果,斷崖式領先。如果再加上其輕量級版本 LimiX-2M 的成績,整個 LimiX 家族的勝率甚至可以達到 68.9%。

類似的情況也出現(xiàn)在回歸任務的 PK 中。同樣的,LimiX 的兩個模型包攬了前兩名,合在一起勝率能達到 62%。和其他模型相比,LimiX-16M 同樣是斷崖式領先。

此外,對于近期 Prior Labs 團隊的挑戰(zhàn)者 TabPFN 2.5,LimiX 成功守擂。可以看到,在涉及分類、回歸的六項評測中,LimiX-16M 依然保持著絕對優(yōu)勢。

LimiX 還是一個數(shù)據(jù)填補神器:在現(xiàn)實數(shù)據(jù)中,經(jīng)常會有「缺胳膊少腿」的空值。其它預測模型無法直接解決這個任務,而 LimiX 可以像填空一樣,精準預測并補全這些缺失值,且無需額外訓練。在所有缺失值插補算法中,LimiX 以絕對優(yōu)勢拿下了 SOTA。

不止是跑分王
現(xiàn)實也能打
有人可能說,跑分好看的模型多了,現(xiàn)實中不還是沒一個能打的。
LimiX 還真不是這種情況。它具備驚人的穩(wěn)健性,使其足以落地實際工業(yè)場景。我們了解到,LimiX 已經(jīng)在一些實際工廠中化身「打工人」了。工廠的任務可不像 Kaggle 賽題那樣經(jīng)過簡化處理,隨便拿出來一個都千頭萬緒。
就拿最容易理解的食品生產(chǎn)為例。我們知道,很多食品在出廠之前要經(jīng)過烘干,如果哪個參數(shù)沒調(diào)好,我們買到手的食品就會出現(xiàn)提前變質(zhì)等問題。以往,食品廠都是依賴事后檢測,也就是先烘干,再測含水量,不合格就返工或報廢。但如果能提前預測,成本不就打下來了?
這正是 LimiX 發(fā)揮作用的環(huán)節(jié),它可以精準建模氣流流速、燃燒器溫度、設備蒸汽比例等工藝參數(shù)與產(chǎn)品含水量的復雜關系,使得預測值與真實值平均偏差不到9%,而且模型能解釋92%的結(jié)果變化,可靠性極強。
類似的案例還有很多,比如在電力現(xiàn)貨市場預測電價時,LimiX 可以將企業(yè)內(nèi)部最優(yōu)模型的誤差從 46.93% MAPE 大幅降低到 25.27% MAPE;而在變壓器運行狀態(tài)診斷中,它能將運行狀態(tài)診斷錯誤率降低 93.5%(相較于傳統(tǒng)預測模型 XGBoost)。
所以,無論從跑分還是實際落地情況來看,LimiX 都是一個充滿變革意味的模型。而且,這個模型不僅企業(yè)能用,普通研究者也能上手,因為 LimiX 團隊最近開源了一個輕量級版本——LimiX-2M。
LimiX-2M
極小模型定義結(jié)構(gòu)化數(shù)據(jù)理解極限
2M模型就能做結(jié)構(gòu)化數(shù)據(jù)處理?
是的,LimiX-2M 雖然體積小,但性能卻著實驚人:力壓 TabPFN-v2 和 TabICL,超越集成學習框架 AutoGluon,僅次于其大哥 LimiX-16M。

更重要的是,它很小,你甚至能在智能戒指上運行它!
具體來說,它能通過分析戒指傳感器收集到的結(jié)構(gòu)化位置信息,識別出佩戴者的手勢。這種應用具有非常巨大的想象空間。舉個例子,通過與智能家居系統(tǒng)連接,我們可以手勢控制家里的各式電器,比如像滅霸一樣打個響指,就能開關家里的所有電燈。
當然,在比邊緣設備性能更強的設備上,這個小模型的速度也會快得多。
舉個例子,如果是處理 958 條、60 維特征的 IMU 數(shù)據(jù),在 2 核 CPU、4G 內(nèi)存的低算力環(huán)境(差不多就是個樹莓派的配置)下,LimiX-2M 單樣本 375 毫秒, 總耗時為 359 秒。相較之下,TabPFN-2.5 的總耗時為 1830 秒,比 LimiX-2M 慢 5 倍。而如果你有一臺 RTX 5090,則單樣本平均耗時僅 0.206 毫秒,總耗時也只有 197 毫秒,真的可以說是眨眼之間就完成了!
LimiX-2M 不止性能與速度兼?zhèn)洌乙材茌p松地低成本微調(diào)——你只需家用顯卡就能有效微調(diào)它!推理快、門檻低的特點使 LimiX-2M 成為助力研究和應用落地的不二之選:即使是只有一張 4090 顯卡的小型科研團隊或創(chuàng)業(yè)公司,也可以在自己的場景中使用、微調(diào) LimiX-2M,從而開展此前根本無法進行的前沿AI實驗。
在量子化學領域,如何去評估小有機分子的一組量子力學性質(zhì)(包括激發(fā)能、振子強度和躍遷概率等)對探索分子特性非常重要。但是目前,這些性質(zhì)只能通過高精度的量子化學方法(如 TDDFT 或 CC2)計算得出,量子力學性質(zhì)計算成本高昂且耗時。
通過使用 LimiX-2M 對各類量子力學性質(zhì)進行預測,預測的擬合優(yōu)度最高可達 0.711,顯著超越 TabPfn-2.5(0.658),經(jīng)過微調(diào)后更是達到了 0.815。這節(jié)省了大量的實驗成本,允許相關研究人員快速進行高通量分子發(fā)現(xiàn)。這再次證明了該模型非常適合邊緣設備應用以及科研場景。你不必像 LLM 研究者一樣需要大量算力,只需一臺日常用來玩游戲的電腦,就能輕松高效地進行實驗。
11月 10 日正式發(fā)布后,LimiX-2M 在 ModelScope 上已經(jīng)有超過 1200 次下載,在網(wǎng)上也收獲了不少好評。

同時,LimiX 還發(fā)布了詳細的應用指南(https://zhuanlan.zhihu.com/p/1973033408901964300),手把手教你如何將 LimiX 應用到自己的數(shù)據(jù)上。無需復雜的格式處理,只要簡單的幾行代碼即可接入最前沿的結(jié)構(gòu)化數(shù)據(jù)大模型。無論是純 CPU 的簡單嘗鮮,還是單 GPU 的深度應用,還是多機多卡的極限推理,LimiX 都能 Handle!此外,LimiX 的社區(qū)非常活躍,GitHub 上的問題響應速度極快。
一場范式遷移正在發(fā)生
從 LimiX 系列模型中,我們能明顯感覺到,一個新的時代真的來了。因為和以往不同,LimiX 所展現(xiàn)的絕對不是漸進式的改進,而是一種新的范式遷移。在 LimiX 技術報告中,研究團隊甚至報告了 LDM 的 scaling laws。這進一步揭示了該領域正在邁入規(guī)模化驅(qū)動的新范式。想要更極致的性能?Just scale it!

不同參數(shù)量模型的分類(左)、回歸(右)損失函數(shù)隨訓練數(shù)據(jù)量的變化趨勢。數(shù)據(jù)量增大時,損失值先快速降低后緩慢下降。

在不受數(shù)據(jù)集規(guī)模或計算預算限制的情況下,下游任務損失與性能隨模型參數(shù)規(guī)模的變化。可以看到,多項性能指標均與模型參數(shù)數(shù)量 N 呈現(xiàn)明顯的依賴關系。
對于大部分人來說,這場從傳統(tǒng)專用模型到「LDM」通用模型的遷移可能很難感知。但無論是日常生活中穩(wěn)定供應的生活必需品,還是背后龐大的工業(yè)體系,幾乎所有決策都建立在結(jié)構(gòu)化數(shù)據(jù)的預測與調(diào)度之上。而 LDM 正是在這個隱蔽但關鍵的層面上,重新定義智能的邊界,其重要性完全不亞于現(xiàn)在被討論最多的語言智能和具身智能。更準確地說,它和后兩者是互補關系,都是通往 AGI 的關鍵步驟。
而且,正如清華大學長聘副教授崔鵬所強調(diào)的那樣:將 AI 與工業(yè)場景深度結(jié)合,在我國具有格外突出的必要性。工業(yè)本身就是我國最具資源稟賦的領域,我們在工業(yè)數(shù)據(jù)的規(guī)模、覆蓋面、質(zhì)量,以及相關政策支持的力度上,都遠遠領先于其他國家。這意味著,一旦在這一領域形成新的技術范式,其落地深度與產(chǎn)業(yè)帶動力將是全球范圍內(nèi)少有的。
從這個角度來看,LimiX 所取得的成果更加令人欣慰,它力壓 Amazon AWS、INRIA 等一系列頂尖機構(gòu),在諸多性能測試上登頂。該模型的開源讓中國在非結(jié)構(gòu)化數(shù)據(jù)建模領域真正站到了世界前沿。
我們也期待國內(nèi)團隊把這一方向的邊界推得更遠。



































