LLM合集：Meta推出PGraphRAG框架，異構圖關系助力個性化RAG突破界限
1. Personalized Graph-Based Retrieval for Large Language Models
隨著大語言模型（LLMs）的演進，它們提供個性化和上下文相關響應的能力具有改變用戶體驗的潛力。然而，現有的個性化方法通常僅依賴用戶歷史來增強提示，這在冷啟動場景或數據稀疏的情況下限制了其有效性。為了克服這些限制，我們提出了一種基于圖的個性化檢索增強生成（PGraphRAG）框架，該框架利用用戶中心的知識圖來豐富個性化。通過直接將結構化的用戶知識融入檢索過程，并用相關用戶上下文增強提示，PGraphRAG增強了上下文理解和輸出質量。我們還提出了基于圖的個性化文本生成基準，旨在評估在用戶歷史稀疏或不可用的現實場景中的個性化文本生成任務。實驗結果表明，PGraphRAG在多種任務中顯著優于當前最先進的個性化方法，展示了基于圖的檢索在個性化方面的獨特優勢。
論文: ??https://arxiv.org/pdf/2501.02157??
2. BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning
大語言模型（LLMs）通過分而治之的pipeline，并借助上下文學習（ICL）示例，在解決復雜數學問題方面表現出有前景的性能。然而，它們的改進潛力受到ICL示例中兩個關鍵問題的限制：粒度不匹配和隨之而來的負面效果噪聲問題。具體而言，大語言模型能夠進行分割過程，但在幾個征服步驟中大多由于推理不準確而失敗，而問題粒度的ICL示例有時缺乏針對特定挑戰性推理步驟的相關步驟。進一步，這種斷開可能由于不相關性而阻礙正確的推理。為此，我們專注于提高每一步的推理質量，并提出了BoostStep。BoostStep在每一步的檢索和推理之間對齊粒度，并為每一步提供高度相關的ICL示例，采用一種新的“首次嘗試”策略。BoostStep提供的相關示例多于粗略的問題粒度策略，逐步提高模型在每一步的推理質量。BoostStep是一種通用且穩健的推理增強方法，不僅提高了獨立推理性能，還能無縫集成到蒙特卡洛樹搜索方法（MCTS）中，以細化候選生成和決策。定量上，BoostStep分別將GPT-4o和Qwen2.5-Math-72B在各種數學基準上的性能提高了3.6%和2.0%，并與MCTS結合使用時，性能提高了7.5%。
論文: ??https://arxiv.org/pdf/2501.03226??
3. Dispider: Enabling Video LLMs with Active Real-Time Interaction via Disentangled Perception, Decision, and Reaction
與視頻LLMs的主動實時交互帶來了新的人機交互范式，其中模型不僅能夠理解用戶意圖，還能在實時處理流式視頻內容的同時做出響應。與先分析整個視頻的離線視頻LLMs不同，主動實時交互需要三種能力：1）感知：實時監控視頻并捕獲交互。2）決策：在適當情況下主動發起交互。3）反應：持續與用戶交互。然而，這些期望的能力之間存在固有的沖突。決策和反應需要相反的感知規模和粒度，而自回歸解碼在反應期間阻斷了實時感知和決策。為了在一個和諧的系統中統一這些沖突的能力，我們提出了Dispider系統，該系統解耦了感知、決策和反應。Dispider配備了一個輕量級的主動流式視頻處理模塊，用于跟蹤視頻流并識別最佳交互時刻。一旦觸發交互，異步交互模塊將提供詳細的響應，同時處理模塊繼續監控視頻。我們的解耦和異步設計確保了及時、上下文相關且計算效率高的響應，使Dispider非常適合長時視頻流的主動實時交互。實驗表明，Dispider不僅在常規視頻問答任務中保持了強大的性能，還在流式場景響應中顯著超越了先前的在線模型，從而驗證了我們架構的有效性。代碼和模型已發布在https://github.com/Mark12Ding/Dispider。
論文: ??https://arxiv.org/pdf/2501.03218??
4. GS-DiT: Advancing Video Generation with Pseudo 4D Gaussian Fields through Efficient Dense 3D Point Tracking
4D視頻控制對于視頻生成是必不可少的，因為它使使用復雜的鏡頭技巧（如多機位拍攝和變焦）成為可能，而這些技巧目前現有的方法尚無法支持。直接訓練一個視頻擴散transformer（DiT）來控制4D內容需要昂貴的多視角視頻。受到單目動態新穎視圖合成（MDVS）的啟發，該方法優化4D表示并根據不同的4D元素（如相機姿態和物體運動編輯）渲染視頻，我們提出了偽4D高斯場到視頻生成中。具體地，我們提出了一種新的框架，該框架使用密集的3D點跟蹤技術構建偽4D高斯場，并為所有視頻幀渲染高斯場。然后，我們微調預訓練的DiT以生成遵循渲染視頻指導的視頻，稱為GS-DiT。為了提高GS-DiT的訓練效率，我們還提出了一種高效的偽4D高斯場構建方法——密集3D點跟蹤（D3D-PT）。我們的D3D-PT在準確性和推理速度上均優于當前最先進的稀疏3D點跟蹤方法SpatialTracker，加速推理速度兩個數量級。在推理階段，GS-DiT可以在遵循不同相機參數的同時生成具有相同動態內容的視頻，解決了當前視頻生成模型的一個重要局限性。
論文: ???https://arxiv.org/pdf/2501.02690??
本文轉載自??AI-PaperDaily??，作者： AI-PaperDaily ????
