摘要MoCa通過“持續預訓練+異構對比學習”兩步，把單向注意力VLM升級為強大的雙向多模態編碼器。3B模型即可超越7B基線，在MMEB、ViDoRev2等基準刷新紀錄，并顯著降低對配對標注的依賴。TLDR：首次將continualpretraining引入雙向多模態表征；無標注數據也能練出SOTA嵌入。Paperhttps:arxiv.orgabs2506.23115Homehttps:haonchen.github.ioMoCa為什么要做MoCa？因果注意力的單向預測讓VLM難以捕獲深層跨模態語義，且對高質量圖文...

想象一下，如果你的AI助手能記住你的每一次對話、每一個偏好，能夠真正理解你記住你做過的事情…加州大學圣迭戈分校博士生YuWang與紐約大學教授XiChen合作提出了MIRIX——全球首個真正具備多模態長期記憶的AI系統，項目同時發布了可直接使用的Mac桌面應用。解決什么問題？現有AI助手的一個明顯局限是缺乏持續記憶能力。每次對話結束后，之前的交互信息就會丟失。RAG（檢索增強生成）雖然能補充一些信息，但在處理多模態數據和長...

今日分享一篇羅格斯大學團隊發現了大語言模型注意力機制的查詢(Q)和鍵(K)表示中存在非常集中的大值，并探討了這些極大值的應用以及來源,該研究已經被機器學習三大頂會之一ICML收錄.。這項研究揭示了大型語言模型中一個重要現象：在注意力機制的查詢(Q)和鍵(K)表示中存在集中的大值，而在值(V)表示中卻沒有這種模式。這一現象在使用旋轉位置編碼(RoPE)的現代Transformer模型中普遍存在。??四大核心發現1.極大值在Q和K中的特定...

1.StopOverthinking:ASurveyonEfficientReasoningforLargeLanguageModels現在的大模型確實很厲害，尤其是在處理復雜任務時。最近像OpenAI的o1和DeepSeekR1這些大推理模型，通過監督微調加強化學習的方法，把那種一步一步的推理能力（也就是CoT）提升了不少。不過這里有個矛盾點——雖然更長的推理鏈條能提高準確率，但也會因為輸出太啰嗦、重復而增加計算成本，我們管這個叫"過度思考"問題。最近我們團隊做了個系統的研究綜述，...

在數字化時代，視覺信息在知識傳遞和決策支持中的重要性日益凸顯。然而，傳統的檢索增強型生成（RAG）方法在處理視覺豐富信息時面臨著諸多挑戰。一方面，傳統的基于文本的方法無法處理視覺相關數據；另一方面，現有的視覺RAG方法受限于定義的固定流程，難以有效激活模型的推理能力。來自阿里巴巴通義實驗室的最新研究成果——VRAGRL（EmpowerVisionPerceptionBasedRAGforVisuallyRichInformationUnderstandingviaIterativeReaso...

背景隨著GPT4o在圖像生成任務上的橫空出世，以及越來越多采用自回歸架構（autoregressivearchitecture）的文本到圖像（T2I）模型迅速發展，當前一代的生成模型在理解與執行用戶復雜指令（prompts）方面，已經實現了飛躍式突破?。如今的T2I模型不僅能識別多個屬性（如顏色、材質、風格等），還能處理帶有邏輯推理結構甚至復雜修辭的超長自然語言指令。Asquareimagecontaininga4rowby4columngridcontaining16objectsonawhiteback...

在大語言模型（LLMs）的后訓練與推理Scaling時代，一個革命性范式正在崛起：LearningfromRewards（獎勵驅動學習）。從OpenAIo1和DeepSeekR1中的強化學習，到測試時的BestofN采樣，獎勵信號不再只是訓練噪聲的附屬，而是引領模型走向主動學習的導航星標。它使模型更貼近人類偏好、具備復雜推理能力，推動邁向更通用、更智能、更可控的AI系統！本文是當前最系統的LearningfromRewards綜述之一，全面梳理該范式在LLMs后訓練(PostTr...

圖片論文：MorphMark:FlexibleAdaptiveWatermarkingforLargeLanguageModels鏈接：https:arxiv.orgabs2505.11541圖片一、研究背景隨著大型語言模型（LLMs）在自然語言生成領域的廣泛應用，AI生成內容的可追溯性和版權保護已成為亟待解決的核心問題。基于紅綠表（RedGreenList）機制的水印技術應運而生，通過嵌入可檢測的獨特模式來區分AI生成內容與人類創作內容。然而，現有方法普遍面臨一個根本性矛盾：提升水印有效性往往導致...

今日分享一篇羅格斯大學團隊發現了大語言模型注意力機制的查詢(Q)和鍵(K)表示中存在非常集中的大值，并探討了這些極大值的應用以及來源,該研究已經被機器學習三大頂會之一ICML收錄.。這項研究揭示了大型語言模型中一個重要現象：在注意力機制的查詢(Q)和鍵(K)表示中存在集中的大值，而在值(V)表示中卻沒有這種模式。這一現象在使用旋轉位置編碼(RoPE)的現代Transformer模型中普遍存在。??四大核心發現1.極大值在Q和K中的特定...

1.Any2Caption:InterpretingAnyConditiontoCaptionforControllableVideoGeneration在視頻創作領域，如何精準理解用戶需求一直是個難題。今天，我們帶來一項革命性突破——Any2Caption！這個全新框架讓視頻生成徹底告別"意難平"，無論什么條件都能精準把控創作方向。核心優勢：智能分離兩大步驟：先解析用戶需求，再生成視頻，避免"理解偏差"全能輸入支持：文字、圖片、視頻甚至專業參數（如鏡頭運動、拍攝角度）都能"聽懂"AI大...

1.Qwen2.5OmniTechnicalReport我們全新推出Qwen2.5Omni，一個能同時理解文字、圖片、聲音和視頻的"全能型"AI模型！它像人類一樣，不僅能看圖聽聲，還能邊思考邊生成自然流暢的文本和語音回答。三大創新亮點：1）同步感知：采用獨特的"交錯處理"技術，讓視頻畫面和音頻完美同步，配合創新的"時間對齊"算法，確保多模態信息精準配合。2）雙軌生成：獨創"思考者說話者"架構——思考者：像超強大腦一樣生成文字內容說話者：根據思考...

1.LongContextAutoregressiveVideoModelingwithNextFramePrediction在語言生成領域，長上下文自回歸模型已取得顯著進展，但視頻生成卻一直難以有效利用長時間序列信息。為解決這一難題，我們提出了一種名為FrameAutoRegressive的全新視頻生成方法。。FAR借鑒了語言模型逐幀學習的思路，通過捕捉視頻連續幀之間的時序因果關系，顯著提升了模型的收斂效率，表現優于現有主流方法（如TokenAR和視頻擴散模型）。然而，長視頻生成仍...

1.TransformerswithoutNormalization在現代深度學習模型中，歸一化層幾乎成了標配，大家普遍認為不可或缺。但我們的研究發現，其實不用歸一化層也能讓Transformer模型表現優異——只需要一個簡單的小技巧就夠了。我們提出的動態雙曲正切函數（DyT），本質上就是通過調整參數α來控制tanh函數的形狀（DyT(x)tanh(αx)），這個方法能完美替代歸一化層的功能。這靈感來自于Transformer中常用的層歸一化，它其實和tanh函數的S型曲線...

1.ProcessbasedSelfRewardingLanguageModels大型語言模型在各類下游任務中表現都很不錯，現在已經在好多場景里廣泛應用了。我們通過用人類標注的偏好數據訓練語言模型，讓它性能得到了進一步提升。不過，這種性能是受限于人類能力上限的。為了突破這個限制，有人提出了自獎勵方法，就是讓語言模型自己給自己輸出的內容獎勵，然后用這些獎勵數據來訓練。但現在已有的自獎勵方法在數學推理場景中不太好用，弄不好還會讓模型性能變...

1.StepVideoT2VTechnicalReport:ThePractice,Challenges,andFutureofVideoFoundationModel我們提出了StepVideoT2V，這是個有300億參數的超厲害的文本到視頻預訓練模型，它能生成有204幀那么長的視頻內容。為了做好視頻生成這個任務，我們專門設計了一個深度壓縮變分自動編碼器，也就是VideoVAE。它能把空間壓縮到16x16，時間上壓縮8倍，還能保證視頻重建的質量非常高。。用戶要是輸入提示內容，我們用兩個雙語文本編碼器來處理...

1.GoldmedalistPerformanceinSolvingOlympiadGeometrywithAlphaGeometry2我們推出了AlphaGeometry2，這是對Trinh等人在2024年提出的AlphaGeometry的重大改進版本，如今它在解決奧林匹克幾何問題方面的能力已經超過了普通金牌得主。為了實現這一突破，我們首先對原有的AlphaGeometry語言進行了擴展，使其能夠處理涉及物體運動的更難題型，以及包含角度、比例和距離的線性方程的問題。這些改進以及其他新增內容，顯著提高了AlphaG...

1.Kimik1.5:ScalingReinforcementLearningwithLLMs語言模型預訓練時，通過預測下一個詞來提升計算量的方法效果不錯，可訓練數據量卻限制了它的進一步發展。強化學習（RL）的拓展則為人工智能持續進步提供了新途徑，讓大語言模型（LLMs）有機會通過學習探索擴充訓練數據。不過，之前相關研究成果都不太理想，沒有特別突出的。基于這樣的情況，我們來分享Kimik1.5的訓練過程。這是我們新研發的多模態LLM，使用RL訓練。我們會講講R...

1.算法介紹樸素貝葉斯是一種基于貝葉斯定理的分類算法,廣泛應用于文本分類、垃圾郵件過濾、情感分析等領域。它是一種簡單但非常有效的分類方法,特別適用于高維度特征空間的分類問題。樸素貝葉斯分類器的"樸素"來源于它對特征之間獨立性的假設。盡管這個假設在現實中往往不成立,但該算法在許多實際應用中仍然表現出色。2.算法原理3.案例分析我們使用著名的鳶尾花(Iris)數據集來演示樸素貝葉斯分類器的應用。首先建立樸素貝葉斯分...

1.MiniMax01:ScalingFoundationModelswithLightningAttention我們推出了MiniMax01系列，包括MiniMaxText01和MiniMaxVL01。這兩款產品不僅性能可與頂尖模型相媲美，而且在處理更長文本上下文方面具備卓越能力。其核心技術是LightningAttention及其高效的擴展方法。為充分發揮計算能力，我們將其與混合專家（MoE）技術相結合，打造出擁有32個專家模塊、共計4560億參數的模型，每個Token激活459億參數。針對MoE和閃電注意力機制，...

1.PersonalizedGraphBasedRetrievalforLargeLanguageModels隨著大語言模型（LLMs）的演進，它們提供個性化和上下文相關響應的能力具有改變用戶體驗的潛力。然而，現有的個性化方法通常僅依賴用戶歷史來增強提示，這在冷啟動場景或數據稀疏的情況下限制了其有效性。為了克服這些限制，我們提出了一種基于圖的個性化檢索增強生成（PGraphRAG）框架，該框架利用用戶中心的知識圖來豐富個性化。通過直接將結構化的用戶知識融入檢索...