大模型競技場全面測評結果出爐：Llama3 70B成開源模型中最強王者！ 原創
近日，大模型系統組織發布旗下大模型競技場全面測評結果，Llama3 70B成開源模型中性能最強的模型，而未發布的Llama3 400B著實令人期待！PyTorch創始人Soumith Chintala感嘆這幾乎是不可能完成的任務！以下是譯文：
Llama3-70B 已經穩居第五位。接下來還有 405B...
我還記得 2023 年三月 GPT-4 發布時，看起來幾乎不可能達到相同的性能。
從那時起，我看到Ahmad Al-Dahle和Meta AI的其他成員經歷了一段混亂的崛起，專注于工作，每周工作 100 多個小時才取得了這些成果，得到了許多團隊的支持，他們建立了 GPU 集群、優化了 PyTorch、進行了數據基礎設施、注釋，并且在這一切中迅速行動，盡管存在大公司的開銷。
最棒的部分？我們已經讓這種大模型這種魔法成為您可以輕松使用的開源工具！ 我覺得這簡直不可思議！為我的Meta AI同事們能夠實現這一點感到無比自豪。向著第一名前進吧！
以下是大模型系統組織發布的大模型競技場測評譯文：
激動人心的更新——Llama-3的完整結果已經發布，現在在Arena排行榜上進入了前五??
我們獲得了穩定的置信區間，有超過12,000票的支持。現在毫無疑問，Llama-3的70B版本是開源模型的新王者。其強大的8B變體也超越了許多更大規模的模型。這是一個令人難以置信的發布！
衷心祝賀Meta AI的Llama團隊，對開放社區做出了如此寶貴的貢獻！迫不及待地期待看到400B版本的發布。
此外，在英語類別中，我們觀察到了更強的性能，Llama 3的排名躍升至約第一名，和GPT-4-Turbo旗鼓相當！
它在人類偏好方面對抗頂級模型的表現一直很強（請參閱勝率矩陣）。它已經針對具有大量指令數據的對話場景進行了后訓練優化。
關于主題分布和一致性研究的更多分析仍在進行中。我們也期待著Llama-3技術報告中的詳細內容。
誰是大模型系統組織？
大模型系統組織（LMSYS Org）是由加州大學伯克利分校的學生和教師與加州大學圣地亞哥分校以及卡內基梅隆大學合作成立的開放式研究組織。
大模型系統組織的目標是通過共同開發開放模型、數據集、系統和評估工具，使大型模型對所有人都可訪問。我們的工作涵蓋了機器學習和系統方面的研究。我們訓練大型語言模型并使其廣泛可用，同時還開發分布式系統以加速它們的訓練和推理過程。
大模型系統組織成員包括學生Lianmin Zheng, Ying Sheng, Wei-Lin Chiang, Shiyi Cao, Tianle Li, Christopher Chou, Dacheng Li, Zhuohan Li, Zi Lin, Zhanghao Wu, Shuo Yang, Siyuan Zhuang, Yonghao Zhuang等，教師Joseph E. Gonzalez, Ion Stoica, Eric P. Xing, Hao Zhang等。
本文轉載自公眾號AIGC最前線
