小長假結束了~  本來打算梳理一下假期的信息的，但是內容有點多，放棄了~

今天這個標題對應假期的2個新聞。

• 思科的大佬，假期發了一篇medium博客，使用2個復雜數據集，進行了一系列模型的基準測試。

  

• Blog: https://medium.com/@harishhacker3010/can-we-make-any-smaller-opensource-ai-models-smarter-than-human-1ea507e644a0
• Prompt: https://gist.github.com/philschmid/34747bf5bc8280f3a5f10f5fd8d1cd4b
• Github: https://github.com/harishsg993010/LLM-Research-Scripts

簡單總結

• ?? 結合動態思維鏈+反思+語言強化promp，以嚴格的學術測試為基準（JEE Advanced、UPSC、IMO、Putnam）
• ?? Claude 3.5 Sonnet 的性能優于 GPT-4 和匹配的 O1 型號
• ?? LLMs可以創建內部模擬并對復雜問題采取 50 多達推理步驟
• ?? 適用于較小的開源模型，如 Llama 3.1 8B +10%（Llama 3.1 8B 33/48 與 GPT-4o 36/48）
• ? 由于計算和預算限制，沒有像 MMLU、MMLU pro 或 GPQA 那樣進行基準測試
• ?? 高token使用量 - Claude Sonnet 3.5 僅 7 個問題就使用了大約 100 萬個令牌

2. open o1 項目

• github: https://github.com/OpenSource-O1/Open-O1
• space: https://huggingface.co/spaces/happzy2633/open-o1
• hf: https://huggingface.co/O1-OPEN

Open-O1 項目，主要是期望對齊閉源 OpenAI O1 模型的強大功能，為社區提供先進的開源替代方案。通過精心篩選一組 O1 風格的思考數據來開發訓練，這些數據用于訓練 LLaMA 和 Qwen 模型。這種訓練方法賦予了較小的模型長期推理和解決問題的能力。

有一些初步的微調成果，但是看起來不太顯著，readme上有挺多不錯的輸出樣例。開源模型：https://huggingface.co/happzy2633/qwen2.5-7b-ins-v3/tree/main

本文轉載自 ??NLP前沿??，作者： 熱愛AI的