史上首位“AI科學家”，橫空出世！

一登場就一口氣生成了十篇完整學術論文。

△AI生成的一篇擴散模型論文

從提出研究想法、檢查創新性、設計實驗、編寫代碼，到在GPU上執行實驗并收集結果，最后完成論文撰寫，一氣呵成。

全由這位“AI科學家”自動搞定。

每篇論文的成本約為15美元（約107.62元）。

這就是第一個用于自動化科學研究和開放式發現的綜合AI系統，The AI Scientist。

來自Transformer作者之一Llion Jones的創業公司：Sakana AI。

而且！

這公司搞的事情不只是做出了一位AI科學家，還額外搞出了個AI審稿人。

審稿人能對AI寫的論文進行評審，提供改進意見。

救命，這是什么以我之矛攻我之盾的套娃循環啊！

一通操作下來，比人類學術圈還人類學術圈（不是）

再來個而且！

不管是AI科學家和AI審稿人，Sakana AI把它們統統開源了。

網友看了直鼓掌；

Nice Nice，非常有趣的工作！

以及有人已經開始出“餿主意”了。

這邊建議把其中一篇論文提交給AI頂會哈！

AI獨立完成十篇機器學習論文

幾十年來，每次AI取得重大進展后，研究人員經常開玩笑說：“是時候研究讓AI幫我們寫論文了”。

現在，這個想法終于從玩笑變成現實。

具體來說，AI科學家生成了十篇論文，每個研究方向各挑出一篇得分較高的來介紹。

第一篇，擴散模型方向，《雙尺度擴散：低維生成模型的自適應特征平衡》

提出了一種自適應雙尺度去噪方法，改進現有的擴散模型在低維空間中難以同時捕捉全局結構和局部細節的問題。

方法：

• 設計雙尺度架構，包括全局和局部分支
• 引入可學習的時間步條件加權機制
• 結合兩個分支的輸出進行去噪預測

實驗結果：

• KL divergence指標相比基線模型降低了2.5%到12.8%（越低越好）
• 但計算時間約增加了一倍，且在復雜數據分布（如dino數據集）上表現不穩定

簡單掃一眼正文部分，有公式、有圖表，看起來還挺像模像樣的。

第二篇，語言模型方向，《StyleFusion：字符級語言模型中的自適應多樣式生成》。

本文提出了一種名為Multi-Style Adapter的新方法，通過引入可學習的風格嵌入和風格分類頭，增強了字符級語言模型的風格意識和一致性。

在所有數據集上達到了接近完美的風格一致性分數（shakespeare_char為0.9667，enwik8和text8為1.0），驗證損失優于基線模型，但推理速度略有下降（約400 tokens/s vs. 基線670 tokens/s）

第三篇，Transformer與強化學習結合，《通過Q-Learning實現Transformers的自適應學習率》。

本研究探索了將強化學習應用于動態調整transformer模型訓練中的學習率，使用驗證損失和當前學習率作為狀態，動態調整學習率以優化訓練過程。

結果在所有數據集上都優于基線模型，在訓練時間上也表現出優勢。

第四篇，研究了谷歌團隊提出大模型“領悟”（Grokking）現象，《解鎖 Grokking：Transformer模型中權重初始化策略的比較研究》

本文首次系統研究了權重初始化對grokking的影響，比較了五種權重初始化策略，以優化神經網絡學習動態。

結果發現：

• Xavier初始化在多數任務中表現最佳，將達到99%驗證準確率的步數減少了最多63%
• Orthogonal初始化在某些任務中表現出色，但在其他任務中效果較差。

這幾篇論文配套的代碼（也是由AI生成的），同樣開源在GitHub上，突出一個可復現。

另外，團隊發現“AI科學家”還有一些有趣但又有些危險的行為：

在一次實驗中，它為了完成研究修改自己的代碼，讓系統迭代式調用自己，最后變成了無限套娃。

另一次，面對人類設置的運行時間限制，AI并沒有想辦法加快效率，反而給自己放寬要求，把時間限制從2小時延長到了4小時。

首個“AI科學家”如何煉成

整個研究想法來自Sakana AI成立之后幾個成果的延續：

首先，他們開發了自動合并多個大模型知識，進化產生新模型的方法。在最近的工作中，他們利用大模型發現新的目標函數來調整其他模型。

在這些項目中，團隊不斷對當前前沿模型的創造力感到驚訝，進而有了更大的夢想：可以使用大模型來自動化整個研究過程嗎？

最終成果由Sakana AI、牛津大學Foerster實驗室、不列顛哥倫比亞大學團隊合作完成。

“AI科學家”系統由四個部分組成。

想法生成：

給定一個起始模板，AI首先“頭腦風暴”一系列不同的新穎研究方向，并在Semantic Scholar上搜索，驗證這些想法是否有前人做過。

實驗迭代：

對于第一部分提出的想法，“AI科學家”首先執行提議的實驗，然后生成圖表可視化結果。

論文寫作：

用標準機器學習會議的風格編寫了一份簡潔且信息豐富的LaTeX文章，同樣使用Semantic Scholar自主查找相關論文進行引用。

自動化同行評審：

開發了一個自動化的“AI審稿人”，能夠以接近人類的準確性評估生成的論文，實現了持續的反饋循環，使“AI科學家”能夠迭代地改進其研究成果。

總共生成了10篇論文如下：

在實驗中，團隊還比較了不同主流大模型接入整個系統的效果，其中包括DeepSeek團隊的國產代碼大模型。

結果發現，Claude-Sonnet-3.5在想法創新性、試驗通過率、論文完成質量上表現都最好。

GPT-4o和DeepSeek Coder表現相近，但后者要便宜上30倍。

當然，現階段AI獨立完成的論文也不是盡善盡美，也不是直接就能發頂會了。

人類研究者總結了出幾點限制和挑戰：

• 當前“AI科學家”系統還沒有整合視覺能力，生成的圖表有時難以閱讀，表格有時超出頁面寬度，頁面排版不好。
• AI科學家可能想法對了但執行錯誤，或者與基線進行不公平的比較，從而產生誤導性的結果。
• AI科學家在寫作和評估結果時偶爾會犯嚴重錯誤，比如產生幻覺。

還想造區域主席和AI新頂會

總結一下，這初代AI科學家寫出來的論文仍然時不時出現一些bug。

但這個項目本身，以及15美元/篇的成本，被Sakana AI稱為“大有前景”，完全可以用來幫助加速科學進步。

Sakana AI同時發布了一篇說明文章，表示AI科學家的最終設想，是一個完全由AI驅動的科學生態系統。

系統中不僅包括大模型驅動的研究人員，還有審稿人、區域主席和一個新頂會。

需要注意的是，Sakana AI認為：

人類科學家的作用，并不會因為AI科學家的出現而減弱。

如果非要進行對比，那就是科學家得適應新技術的出現和運用，適應角色定位將出現的變化，“向食物鏈上游移動”。

而且，AI科學家是否真的能提出真正的新范式，還有待觀察。

畢竟這玩意兒現在還是建立在Transformer之上的。

它能提出跟Transformer或Diffusion Model一樣厲害的東西嗎？甚至是人工神經網絡或信息論這樣的理論概念？

咱也不知道，咱也不敢說。

Sakana AI還寫下這樣一段話：

我們相信AI科學家將成為人類科學家的偉大伙伴。

但只有時間才能證明，人類的創造力本質和偶然創新時刻，在多大程度上可以通過人工進行的開放式發現，來復制“奇跡”。

△Sakana AI：一條全自動AI小魚兒正在探索它的世界

來自Transformer作者創業公司

這次完成“新造的人”的公司，Sakana AI，嚴格意義上也是咱們的老朋友了。

由Transformer論文8位作者的最后一位Llion Jones創業成立，目標是做一家“世界級人工智能研究室”。

公司base東京，而sakana是日語“魚”（さかな）的羅馬讀音。

可能出于公司文化考慮，Llion還在領英上標明，自己起了個日語音譯名字：ライオン（也就是Lion獅子的片假名；以下親切簡稱他獅子哥）。

去年8月，公司宣布成立。

當時獅子哥毫無避諱地表示，自個兒對谷歌沒有惡意，但谷歌確實讓他有“被困住的感覺”。

創業之前，獅子哥在谷歌已經干了8年。

△猜猜漏了半張臉的是誰

他本碩畢業于伯明翰大學，在Delcam、油管、谷歌都工作過，谷歌是他待得最久的一家公司。

據FourWeekMBA介紹稱，在他之前的工作經歷中，“曾兩度與谷歌的工作擦肩而過”。

第一次是他剛畢業找工作時，雖然投了谷歌倫敦軟件工程師的簡歷，并通過了兩輪電話面試，但最終相比谷歌，他選擇了位于英國的CAD/CAM軟件公司Delcam。

值得一說的是，在拿下谷歌offer前，恰巧遇上2009年的經濟危機，獅子哥找不到工作，好幾個月都只能靠領取救濟金勉強度日。

第二次是工作18個月后，他又接到了谷歌的招聘電話，詢問他是否想重新申請，但他依舊沒去谷歌，而是隨后加入了YouTube。

在Youtube做三年軟件工程師期間，他對人工智能產生興趣，自學了Coursera的機器學習課程，并終于在2015年的時候加入谷歌研究院，擔任里面的高級軟件工程師。

也正是在此期間，他與其他七名作者一起發表了那篇著名的Transformer論文Attention Is All You Need。

除此之外，獅子哥也在谷歌參與了不少研究，包括ProtTrans、Tensor2Tensor等。

之所以選擇離開谷歌，是因為公司目前已經發展到一種規模，使得他無法繼續進行自己想做的工作。

除了每天都在浪費精力排查其他人的bug，他還需要花時間從這家公司中找資源，試圖獲得訪問某些數據的權限。

創業過后，Sakana AI的工作在有序推進。

在祭出AI科學家和AI審稿人之前，還出過大模型合并進化算法，以及研究Tranformer內部信息流動。

至于AI科學家、AI審稿人項目，由Sakana AI、牛津、UBC合作完成。

三位共同一作分別是：

Chris Lu，Sakana AI的實習生，任公司研究科學家。

他本科畢業于UC伯克利，目前牛津大學三年級博士在讀，導師是Jakob Foerster。

Chris目前的重要研究方向，是將進化啟發的技術應用于元學習和多智能體強化學習。

2022年夏天，他曾在DeepMind以研究科學家身份實習過。

Cong Lu，UBC（不列顛哥倫比亞大學）博士后研究員，導師是Jeff Clune。

Cong曾在RGU（羅伯特戈登大學）就讀，2019年在牛津大學拿下博士學位，他的主要研究方向是開放式強化學習和AI科學發現。

此前，他曾在Waymo和微軟實習過。

Robert Tjarko Lange，Sakana AI的創始成員之一，也是該公司的研究科學家。

目前，他在柏林工業大學完成自己的博士生最后一年學業，研究方向是進化元學習。

這位小哥在倫敦帝國理工學院獲得計算機碩士學位，在龐培法布拉大學獲得數據科學碩士學位，在科隆大學獲得了經濟學本科學位。

去年，他在Google DeepMind的東京團隊中擔任全職學生研究員。

論文地址：https://arxiv.org/abs/2408.06292