1 月 20 日消息，盡管人工智能（AI）在編碼等任務中表現出色，但一項最新研究發現，AI 在應對高級歷史考試時仍顯得力不從心。

這項研究由奧地利復雜科學研究所（CSH）的團隊主導，旨在測試三大頂尖大型語言模型（LLMs）——OpenAI 的 GPT-4、Meta 的 Llama 和谷歌的 Gemini—— 在歷史問題上的表現。研究團隊開發了一個名為“Hist-LLM”的基準測試工具，其根據 Seshat 全球歷史數據庫來測試答案的正確性，Seshat 全球歷史數據庫是一個以古埃及智慧女神命名的龐大歷史知識數據庫。

研究結果于上月在知名 AI 會議 NeurIPS 上公布，結果顯示，即使是表現最佳的 GPT-4 Turbo 模型，其準確率也僅為 46%，并不比隨機猜測高多少。

論文合著者、倫敦大學學院計算機科學副教授 Maria del Rio-Chanona 表示：“這項研究的主要結論是，盡管 LLMs 令人印象深刻，但它們仍缺乏對高級歷史知識的深度理解。它們擅長處理基本事實，但在面對更復雜、博士級別的歷史研究時，仍無法勝任。”

IT之家注意到，研究人員分享了一些 LLMs 答錯的歷史問題示例。例如，當被問及古埃及某一特定時期是否存在鱗甲時，GPT-4 Turbo 給出了肯定的回答，但實際上，這種技術是在 1500 年后才出現在埃及的。del Rio-Chanona 解釋說，LLMs 在處理技術性歷史問題時表現不佳，可能是因為它們傾向于從非常突出的歷史數據中推斷，而難以檢索到更冷門的歷史知識。

另一個例子是，研究人員詢問 GPT-4 古埃及在某一歷史時期是否擁有職業常備軍。正確答案是否定的，但 LLM 卻錯誤地回答“有”。del Rio-Chanona 認為，這可能是因為關于其他古代帝國（如波斯）擁有常備軍的公開信息較多，而古埃及的相關信息較少。“如果你被反復告知 A 和 B，而 C 只被提到一次，當你被問及 C 時，你可能會只記得 A 和 B，并試圖從中推斷。”她解釋道。

研究還發現，OpenAI 和 Llama 模型在撒哈拉以南非洲等地區的表現更差，這表明其訓練數據可能存在偏見。研究負責人、CSH 研究員 Peter Turchin 表示，這些結果表明，在某些領域，LLMs 仍無法替代人類。

盡管如此，研究人員對 LLMs 在未來輔助歷史研究的前景仍持樂觀態度。他們正在通過納入更多來自代表性不足地區的數據和增加更復雜的問題來改進基準測試工具。論文總結道：“總體而言，盡管我們的結果突顯了 LLMs 需要改進的領域，但它們也強調了這些模型在歷史研究中的潛力。”