作為今年 AI 圈的頂流，大型語言模型（LLM）擅長的是組合概念，并且可以通過閱讀、理解、寫作和編碼來幫助人們解決問題。但它們能發現全新的知識嗎？

由于 LLM 已被證明存在「幻覺」問題，即生成與事實不符的信息，因此利用 LLM 來做可驗證的正確發現是一項挑戰。

現在，來自 Google DeepMind 的研究團隊提出了一種為數學和計算機科學問題搜索解決方案的新方法 ——FunSearch。FunSearch 的工作原理是將預訓練的 LLM（以計算機代碼的形式提供創造性解決方案）與自動「評估器」配對，以防止產生幻覺和錯誤思路。通過在這兩個組件之間來回迭代，最初的解決方案演變成了「新的知識」。相關論文發表在《自然》雜志上。

論文地址：https://www.nature.com/articles/s41586-023-06924-6

這項工作是首次利用 LLM 在科學或數學的挑戰性開放問題方面取得新發現。

FunSearch 發現了 cap set 問題的全新解決方案，這是數學中一個長期存在的開放問題。此外，為了展示 FunSearch 的實際用途，DeepMind 還用它來發現更有效的算法來解決「裝箱」問題，該問題應用廣泛，比如可以用于提高數據中心的效率。

研究團隊認為 FunSearch 將成為一個特別強大的科學工具，因為它輸出的程序揭示了其解決方案是如何構建的，而不僅僅是解決方案是什么。這將會激發科學家的進一步見解，從而形成科學改進與發現的良性循環。

通過語言模型的進化推動發現

FunSearch 采用由 LLM 支持的進化方法，鼓勵并推動得分最高的思路想法。這些想法被表達成計算機程序，以便它們可以自動運行和評估。

首先，用戶需要以代碼的形式編寫問題的描述。該描述包括評估程序的過程和用于初始化程序池的種子程序。

FunSearch 是一個迭代過程，在每次迭代中，系統都會從當前的程序池中選擇一些程序，并將其饋送到 LLM。LLM 創造性地在此基礎上進行構建，生成新的程序，并自動進行評估。最好的程序將被添加回現有程序庫中，從而創建一個自我改進的循環。FunSearch 使用 Google 的 PaLM 2，但對其他接受過代碼訓練的方法兼容。

LLM 會從程序數據庫中檢索出生成的最佳程序，并被要求生成一個更好的程序。

眾所周知，在不同領域發現新的數學知識和算法是一項艱巨的任務，很大程度上超出了當前最先進人工智能系統的能力。為了讓 FunSearch 做到這一點，該研究引入了多個關鍵組件。FunSearch 不是從頭開始，而是從關于問題的常識開始一個進化過程，讓 FunSearch 專注于尋找最關鍵的想法以獲得新的發現。

此外，FunSearch 的進化過程使用一種策略來提高想法的多樣性，以避免出現停滯情況。最后，為了提高系統效率，進化過程是并行運行的。

在數學領域開辟新天地

DeepMind 表示，他們首先要解決的是 Cap set 問題，這是一個開放性難題，幾十年來一直困擾著多個研究領域的數學家。知名數學家陶哲軒曾把它描述為自己最喜歡的開放性問題。DeepMind 選擇與威斯康星大學麥迪遜分校的數學教授 Jordan Ellenberg 合作，他是 Cap set 問題的重要突破者。

這個問題包括在一個高維網格中找到最大的點集（稱為 cap set），其中沒有三個點位于一條直線上。這個問題之所以重要，是因為它可以作為極值組合學中其他問題的模型。極值組合學研究的是數字、圖或其他對象的集合可能有多大或多小。暴力解除方法無法解決這個問題 —— 要考慮的可能性數量很快就會超過宇宙中原子的數量。

FunSearch 以程序形式生成的解決方案在某些情況下發現了有史以來最大的 cap set。這代表了過去 20 年中 cap set 規模的最大增長。此外，FunSearch 的性能超過了最先進的計算求解器，因為這個問題的規模遠遠超出了它們目前的能力。

交互式圖表顯示了從種子程序（上）到新的高分函數（下）的演變。每個圓圈都代表一個程序，其大小與分配給它的分數成正比。圖中僅顯示底部程序的上級。FunSearch 為每個節點生成的相應函數如右側所示。

這些結果表明，FunSearch 技術可以讓人類超越困難組合問題的既定結果，而在這些問題上很難建立直覺。DeepMind 期望這種方法能夠在組合學中類似理論問題的新發現中發揮作用，并在未來為通信理論等領域帶來新的可能性。

FunSearch 偏好簡潔、可由人類理解的程序

盡管發現新的數學知識本身意義重大，但與傳統的計算機搜索技術相比，FunSearch 方法還展現出了其他的優勢。這是因為，FunSearch 并不是一個只會生成問題解決方案的黑箱。相反，它生成的程序會描述出這些解決方案是如何得出的。這種「show-your-working」通常是科學家的工作方式，他們通過闡述產生新發現或新現象的過程來解釋這些發現或現象。

FunSearch 更傾向于尋找高度緊湊的程序所代表的解決方案，即具有較低 Kolmogorov 復雜度的解決方案（Kolmogorov 復雜度是輸出解的最短計算機程序的長度）。簡短的程序可以描述非常大的對象，從而使 FunSearch 能夠擴展到非常復雜的問題。此外，這也讓研究人員更容易理解 FunSearch 的程序輸出。Ellenberg 說：「FunSearch 為制定打擊策略提供了一種全新的機制。FunSearch 生成的解決方案在概念上要比單純的數字列表豐富得多。當我研究它們時，我學到了一些東西。」

更重要的是，FunSearch 程序的這種可解釋性可以為研究人員提供可操作的見解。例如，DeepMind 在使用 FunSearch 的過程中注意到，它的一些高分輸出的代碼中存在耐人尋味的對稱性。這讓 DeepMind 對問題有了新的認識，他們利用這種認識改進了引入 FunSearch 的問題，從而找到了更好的解決方案。DeepMind 認為，這是人類與 FunSearch 在數學領域的許多問題上進行合作的典范。

左圖：通過檢查 FunSearch 生成的代碼，DeepMind 獲得了更多可操作的見解（高亮部分）。右圖：使用（更短的）左圖程序構造的原始「可接受」集合。

解決一個眾所周知的計算難題

在理論 cap set 問題取得成功的鼓舞下，DeepMind 決定將 FunSearch 應用于計算機科學中一個重要的實際挑戰 —— 裝箱問題（bin packing），以探索它的靈活性。裝箱問題關注的是如何將不同尺寸的物品打包到最少數量的箱子中。它是許多現實世界問題的核心，從裝載物品的集裝箱到數據中心的計算工作分配，這些場景都需要最大限度地降低成本。

在線裝箱問題通常使用基于人類經驗的算法規則（啟發式）來解決。但是，要為每種特定情況（大小、時間或容量各不相同）找到一套規則是非常具有挑戰性的。盡管與 cap set 問題非常不同，但為這個問題設置 FunSearch 很容易。FunSearch 提供了一個自動定制的程序（適應數據的具體情況），優于現有的啟發式方法 —— 可以使用更少的箱子來打包相同數量的物品。

使用現有啟發式 ——Best-fit 啟發式（左）和 FunSearch 發現的啟發式（右）進行裝箱的示例。

像在線裝箱這樣的復雜組合問題可以使用其他人工智能方法來解決，比如神經網絡和強化學習。這些方法也被證明是有效的，但也可能需要大量的資源來部署。另一方面，FunSearch 輸出的代碼易于檢查和部署，這意味著它的解決方案有可能被應用到各種現實工業系統中，從而迅速帶來效益。

DeepMind：用大模型應對科學挑戰將成普遍做法

FunSearch 證明，如果能防止 LLM 產生幻覺，那么這些模型的力量不僅可以用來產生新的數學發現，還可以用來揭示重要現實問題的潛在解決方案。

DeepMind 認為，對于科學和工業領域的許多問題 —— 無論是長期存在的問題還是新問題 —— 使用 LLM 驅動的方法生成有效和量身定制的算法將成為普遍做法。

其實，這僅僅是一個開始。隨著 LLM 不斷取得進展，FunSearch 也將不斷完善。DeepMind 表示，他們還將努力擴展其功能，以應對社會上各種緊迫的科學和工程挑戰。