備受Meta折磨，LeCun依舊猛發論文！新作：JEPAs不只學特征，還能精準感知數據密度
備受Meta審核規定“折磨”，依舊猛發論文！
表示可能要辭職的LeCun帶著最新研究來了，仍然和三位FAIR同事合作。
Yann LeCun團隊新論文發現了自監督模型JEPAs（聯合嵌入預測架構）的隱藏技能——
學會了數據的“密度”。
這里的“數據密度”可以理解成數據的常見程度：密度高的樣本是更典型、更常見的數據，密度低的是少見的、甚至異常的數據。
JEPAs原本被視為僅擅長特征提取的模型，這次LeCun團隊發現該模型在訓練過程中悄悄掌握了感知數據常見程度的能力。
這就意味著，只要JEPAs訓練成功了，不用額外做什么，就能用它來判斷一個樣本的常見程度。
打破了學界長期以來“JEPAs僅學特征、與數據密度無關”的認知。
核心發現：反坍縮能精準學習數據密度
要理解這一新發現的突破，首先來說一下JEPAs。
△源自《A Path Towards Autonomous Machine Intelligence》圖12
JEPAs作為LeCun團隊近年重點推進的自監督學習框架，核心優勢在于無需人工標注，模型就能自主從海量數據中學習特征規律，學完后就可以直接適配圖像識別、跨模態匹配等下游任務，是AI領域高效學習的代表性模型。
此前學界普遍認為，JEPAs的訓練只有兩個核心目標：
- 一是latent空間預測。即給原始數據（如圖像）做輕微擾動（裁剪、調色）后，擾動數據的特征表示（模型內部理解的數據形態）能從原始數據特征中精準預測；
- 二是反坍縮。防止所有樣本的特征趨同一致。
而論文的新發現就是從反坍縮中得來。
如果所有數據的特征都一樣，模型相當于白學，所以過去大家都將反坍縮單純視為避免特征失效的保障手段，沒有意識到它還有更深層的作用。
LeCun團隊就聚焦于反坍縮的的隱藏價值，研究通過變量替換公式與高維統計特性推導證明，反坍縮不僅能防止特征坍縮，更能讓JEPAs精準學習數據密度。
從理論層面看，當JEPAs輸出高斯嵌入（高維空間中近似均勻分布于超球面的特征）時，模型必須通過雅可比矩陣（反映模型對樣本微小變化的響應程度）感知數據密度，才能滿足訓練時的約束條件，這意味著學習數據密度并不是偶然，而是JEPAs訓練過程中的必然結果。
為了讓這種隱藏的密度感知能力落地實用，團隊還提出了關鍵工具JEPA-SCORE。
這是從JEPAs 中提取數據密度的量化指標，核心作用就是給樣本的常見度打分。
根據公式來看計算邏輯簡潔高效，只需要獲取JEPAs處理目標樣本時的雅可比矩陣，計算矩陣的特征值后取對數求和，得到的結果就是JEPA-SCORE，分數越高說明樣本越典型（數據密度高），分數越低則樣本越罕見或異常（數據密度低）。
更重要的是，JEPA-SCORE還具備極強的通用性，無限制適配，既不挑數據集，也不挑JEPAs架構。
無論是ImageNet、手寫數字MNIST，還是未參與預訓練的陌生數據（星云圖集），都能精準計算；
不管是I-JEPA、DINOv2（單模態視覺模型），還是MetaCLIP（多模態模型），只要是成功訓練的JEPAs家族模型，都能直接使用，且無需額外訓練模型。
為了驗證這一發現的可靠性，團隊還開展了多組實驗。
在ImageNet數據集中，不同JEPAs模型對典型樣本（如飛行姿態的鳥類）和罕見樣本（如棲息姿態的鳥類）的JEPA-SCORE判定高度重合，證明這是JEPAs的共性能力，并不是某個模型的偶然；
面對未參與預訓練的星系圖像數據集，其JEPA-SCORE顯著低于ImageNet數據，說明模型能精準識別陌生數據；
而在數據篩選和異常檢測的實用測試中，JEPA-SCORE的效果也優于傳統方法。
△數據篩選場景
△異常檢測場景
研究團隊
此次研究并非LeCun一人之功。
另外三位核心研究者也都是Meta FAIR的研究員。
Randall Balestriero是布朗大學計算機科學助理教授，長期深耕人工智能與深度學習領域。
2013年起研究可學習信號處理，他參與的技術曾用于NASA火星車火星地震探測。
2021年獲萊斯大學博士學位，后進入Meta AI做博士后，師從Yann LeCun。
Nicolas Ballas擁有法國格勒諾布爾大學博士學位。
2010年4月至9月，他擔任了LTU Technologies的研發實習生，從事應用于圖像檢索的大規模聚類相關工作。
自2017年起，他在FAIR擔任研究科學家，已任職超過8年。
Michael Rabbat是FAIR的創始成員，擁有伊利諾伊大學厄巴納-香檳分校的工程學士學位、萊斯大學的工程碩士學位，以及威斯康星大學麥迪遜分校的電氣工程博士學位。
他的研究方向聚焦于優化算法、分布式算法及信號處理三大領域。
加入Meta之前，Mike曾擔任麥吉爾大學電氣與計算機工程系教授。
論文地址：https://arxiv.org/abs/2510.05949
