o3通關「俄羅斯方塊」，碾壓Gemini奪冠！UCSD新基準擊碎寶可夢
誰能想到，作為童年回憶的寶可夢，現在竟搖身一變，成了大模型的試金石！
在無數人的童年記憶中，《寶可夢》是一款意義非凡的游戲——簡單的操作哪怕是年紀尚小的孩子也能輕松上手。
然而，要真正通關這款游戲，仍然需要縝密的規劃和大量的時間投入。
如今，這款承載童年回憶的游戲，已悄然成為各大科技公司測試最新LLM的「香餑餑」。
從Anthropic到Google，從Claude到Gemini，各家模型紛紛亮出「通關寶可夢」的戰績作為展示推理、規劃與長期記憶能力的證據。
而且通關后，谷歌的CEO劈柴都要親自發帖來慶祝。
圖片
真的令人好奇，都2025年了，為何AI通關《寶可夢》就成了個大新聞？
更何況，寶可夢最早的發售是1995年，30年前的游戲為何成為了檢驗最新AI頂級模型的試金石？
這是因為最先進的AI也不一定擁有人類幼兒的感知和行動能力。
莫拉維克悖論
在LLM還未出現的1980年代，早期的人工智能似乎已經開始展現「智慧」。
人工智能的先驅漢斯·莫拉維克、羅德尼·布魯克斯、馬文·閔斯基等人發現一個悖論。
要讓電腦如成人般地下棋是相對容易的，但是要讓電腦有如一歲小孩般的感知和行動能力卻是相當困難甚至是不可能的。
語言學家和認知科學家史迪芬·平克認為這是人工智能學者的最重要發現。經過35年人工智能的研究，他發現最重要的課題是：
困難的問題是易解的，簡單的問題是難解的。
四歲小孩具有的本能——辨識人臉、舉起鉛筆、在房間內走動、回答問題——事實上卻是工程領域內目前為止最難解的問題。
當新一代的AI出現后，股票分析師、石化工程師都要小心他們的位置被取代，但是園丁、接待員和廚師至少十年內都不用擔心被人工智能所取代。
這也是目前所有頂級模型都希望通過寶可夢游戲證明的——目前的LLM到底有沒有感知能力？
圖片
Claude Opus 4還在直播玩寶可夢，已經繼續了12萬+步。
寶可夢作為評測基準，合理嗎？
寶可夢被越來越多地用于評估現代大型語言模型，但存在一個很大的問題——目前的挑戰都缺乏標準化。
Anthropic為Cladue模型提供了導航和讀取游戲狀態內存的工具。
該模型進行了幾場道館對戰，大約執行了35,000個游戲內動作才到達電系道館首領。
但Anthropic并未詳細說明什么具體算作一個「動作」，也未說明允許多少次重試。
圖片
Google的Gemini 2.5 Pro已經完成了《寶可夢 藍》（并在《寶可夢 紅》中獲得了第五個徽章）。
然而，它依賴額外的外部代碼來提取更全面的游戲狀態文本表示并指導決策。
圖片
并且運行完成游戲需要大量的時間，僅獲得第五個徽章，就需要超過500個小時。
同時API的使用會產生大量費用。
如何才能將大模型最愛玩的《寶可夢》游戲轉化為標準化評估框架，甚至是多種游戲的評估框架？
這就是今天介紹的Lmgame Bench，它精心選取了一批難度適中的游戲，并提供了分層測試機制，更適合衡量大模型的真實能力。
圖片
博客地址：https://lmgame.org/#/blog/pokemon_red
該測試基準由UCSD等重磅出品，研究了如何使用流行的視頻游戲來評估現代LLM。
圖片
論文地址：https://arxiv.org/pdf/2505.15146
Lmgame基準測試
Lmgame Bench使用模塊化測試框架——如感知、記憶和推理模塊——系統地擴展模型的游戲能力。
這些測試框架使模型能夠通過迭代交互循環與模擬游戲環境進行交互。
Lmgame-Bench采用了一種標準化的提示優化技術，以降低對提示的敏感性。
圖片
為了在沒有任何外部定制游戲「腳手架」的情況下區分模型能力，Lmgame Bench精選了一系列中等難度的視頻游戲。
這些游戲包括：
推箱子：得分計算方式為所有關卡中推到目標位置的箱子總數，統計范圍從非常簡單的關卡一直到Sokoban 1989中最難的關卡，直到出現第一個死局為止。
圖片
超級馬里奧兄弟：分數是馬里奧在所有關卡中累計的橫向移動距離（游戲單位），直到失去全部三條生命或完成最終關卡為止。具備更強物理直覺和空間推理能力的模型通常能夠獲得更高的分數。
圖片
俄羅斯方塊：分數是已注冊的總方塊數加上消除的總行數（乘以10倍系數），計算至游戲結束為止。不同的模型持續游戲的時間各不相同，這取決于它們高效處理下落方塊的能力。例如，o3-pro能夠有效清除超過10行，從而持續保持游戲進行。
圖片
2048：合并方塊值的總和（例如，合并兩個2會獲得+4），記錄直到棋盤停滯（連續十次回合沒有合并或改變棋盤的移動）。然后我們會報告它們的總得分。由于游戲可以持續超過10萬步，這為區分模型在較長時間范圍內的能力提供了強有力的依據。
圖片
糖果消除：在固定的50步會話中消除的糖果總數。盡管游戲相對簡單，但它能有效區分模型在優化移動步驟和清除糖果方面的能力。
圖片
逆轉裁判：在所有案件關卡中正確操作（提交證據、對話選擇等）的總次數，直到用盡五次錯誤決定機會（生命值）。此游戲用于評估模型的上下文理解和推理能力。
圖片
模塊設計
許多模型在視覺理解上存在脆弱性，導致對游戲狀態頻繁誤判。
想要在游戲中取得成功，需要有效的記憶機制來實現長期決策。
Lmgame針對性的開發了三大模塊。
感知模塊：將原始游戲幀或UI元素轉換為結構化的符號/文本狀態描述，減少對脆弱視覺的依賴。
內存模塊：存儲最近的狀態、動作和反思筆記，以縮小動作空間并支持長期規劃。
推理模塊：綜合所有其他模塊的信息，并可選地開啟長鏈式思維推理。
o3玩2048的記憶模塊展示
Gym風格標準接口
不過研究人員發現，使用計算機直接操作智能體進行基準測試存在重大缺陷。
每款游戲都對計算機的操作要求不同，依賴基于屏幕截圖的觀測容易出現感知錯誤。
圖片
并且在對延遲敏感的的游戲中存在不可預測的延遲，這些問題都削弱了測試結果的一致性和可比性。
為此研究團隊實現了一個采用Gym風格API的新標準化接口，來統一評估設置。
結合輕量級的感知與記憶輔助模塊設計，穩定提示帶來的差異并消除數據污染。
圖片
在13個領先模型上的實驗表明，Lmgame-Bench具有挑戰性，同時仍能有效區分不同模型。
圖片
排行榜前列由o3占據，這款模型以其強大的視覺感知、空間推理和長視野規劃能力而著稱。
不過令人意外的是，o3雖然完全拿下了2048、推箱子和俄羅斯方塊，但是在糖果消除中遠遠落后。
圖片
現在，借助Lmgame提供的開源代碼，任何人都可以通過一條命令為任何受支持的模型-游戲組合啟動評估。
圖片
近期所有模型的進步表明，在數學和編程任務重，整合強化學習可以顯著增強LLMs的推理能力。
即使是最簡單的RL算法也能改善模型的規劃和決策能力，這種能力在與復雜環境互動時顯得尤為重要。
這些進展凸顯了游戲環境作為評估LLMs的有效基準作用。
過去那些經典的游戲經過精心的設計，用來挑戰人類的思維和認知能力。
圖片
同樣地，這些游戲是極具價值但尚未被充分利用的AI基準測試資源。
同時，在經典游戲之外，我們現在還有眾多的3A大作，可以預見，未來的評估體系將具有高度可擴展的發展路徑。
圖片
Lmgame Bench的誕生，正是在這個背景下給出答案：真正的智能不僅要能寫代碼、做數學題，更要能在復雜、開放、動態的環境中持續思考、規劃并行動。
而這場測試，還遠未結束。
