Open LLM集中爆發的一周，卷瘋了！
開源大模型領域熱鬧非凡的一周，各種開源，PaperAgent進行了概括：端側、Code、RAG、Agent、Reflection（反思糾正）、MoE，你關注的都在這里了。
Reflection Llama-3.1-70B 開源
Reflection Llama-3.1 70B是世界上頂尖的Open LLM，通過反思微調技術（Reflection-Tuning）訓練，能夠檢測并糾正推理錯誤，具有很高的熱度，Hugging Face熱門排行Top1。
Agent中需要LLM具有很強的推理規劃能力，這種反思技術訓練的模型是否很契合Agent尼？有待進一步驗證
- 該模型使用Glaive生成的合成數據進行訓練，Glaive是一個強大的模型訓練工具。
- 模型可以通過特定的代碼和管道進行采樣，使用與標準Llama3.1相同的聊天模板格式。
- 采樣時，模型會先在<thinking>標簽內輸出推理過程，然后使用<reflection>標簽修正錯誤，最后在<output>標簽內提供最終答案。
- 這種設計使得模型能夠區分內部思考和最終答案，提升用戶體驗。
從實驗對結果看，是擊敗GPT-4o、Claude 3.5 Sonnet，遙遙領先的，更強405B版本預計下周推出，非常期待
https://hf-mirror.com/mattshumer/Reflection-Llama-3.1-70B面壁小鋼炮MiniCPM 3.0開源
面壁智能開源新一代全面開掛的小鋼炮，4B規模達到ChatGPT級能力：
- 長文本方向：無限長文本，榜單性能超Kimi，超長文本也不崩。
- Function Calling方向：性能比肩GPT-4o ，端側最強，超越 GLM-4-9B-Chat、Qwen2-7B-Instruct。
- RAG 方向：超強 RAG 外掛三件套，基于 MiniCPM 系列模型的MiniCPM-Embedding、MiniCPM-Reranker在中文、中英跨語言檢索測試中取得 SOTA 表現；針對 RAG 場景的 MiniCPM3-RAG-LoRA 在開放域問答等多項任務上超越 Llama3-8B、Baichuan2-13B 等模型。
https://github.com/OpenBMB/MiniCPM
https://huggingface.co/openbmb/MiniCPM3-4B零一萬物Yi-Coder系列模型開源
Yi-Coder 有兩種規模——15億和90億參數——提供基礎版和聊天版，旨在實現高效的推理和靈活的訓練。值得注意的是，Yi-Coder-9B 在 Yi-9B 的基礎上，額外增加了2.4萬億高質量的標記，這些標記精心挑選自 GitHub 上的代碼庫級別的代碼語料庫，以及從 CommonCrawl 篩選出的與代碼相關的數據。
Yi-Coder 的關鍵特性包括：
- 在52種主要編程語言上的2.4萬億高質量標記上繼續預訓練。
- 長上下文建模：最大上下文窗口為128K標記，能夠實現項目級別的代碼理解和生成。
- 小巧但強大：Yi-Coder-9B 在性能上超越了其他參數少于100億的模型，如 CodeQwen1.5 7B 和 CodeGeex4 9B，甚至達到了與 DeepSeek-Coder 33B 相當的性能水平。
https://hf-mirror.com/01-ai/Yi-Coder-9B-Chat
https://hf-mirror.com/01-ai/Yi-Coder-1.5B-Chat
https://01-ai.github.io/blog.html?post=en/2024-09-05-A-Small-but-Mighty-LLM-for-Code.mdDeepSeek-V2.5版本發布
DeepSeek-V2.5 是一個升級版本，它結合了 DeepSeek-V2-Chat 和 DeepSeek-Coder-V2-Instruct。這個新模型整合了前兩個版本的通用和編碼能力。
DeepSeek-V2.5 更好地符合人類的偏好，并在多個方面進行了優化，包括寫作和指令遵循：
https://hf-mirror.com/deepseek-ai/DeepSeek-V2.5首個完全開源MoE大模型：OLMoE
OLMoE-1B-7B 是一個具有10億活躍參數和70億總參數的專家混合（Mixture-of-Experts）大型語言模型（LLM），于2024年9月（0924）發布。它在成本相似（10億）的模型中提供了最先進的性能，并且與像 Llama2-13B 這樣的更大模型具有競爭力。OLMoE 是100%開源的。
開放 MoE 和密集型語言模型（LMs）的性能、成本和開放程度
checkpoints: https://huggingface.co/allenai/OLMoE-1B-7B-0924
paper: https://arxiv.org/pdf/2409.02060
code：https://github.com/allenai/OLMoE
data：https://huggingface.co/datasets/allenai/OLMoE-mix-0924
logs：https://wandb.ai/ai2-llm/olmoe/reports/OLMoE-1B-7B-0924--Vmlldzo4OTcyMjU3本文轉載自?? PaperAgent??，作者： PaperAgent
