大模型融合！最新「進化算法」全自動組合開源模型，刷榜多項基準測試
人類智慧的基礎并不在于單個聰明的個體，而在于集體智慧。
比如說，我們的社會和經濟體系就是建立在由具有不同專業和專長的不同個人組成的許多機構的基礎上的。
Sakana AI團隊相信，人工智能的發展也將遵循類似的集體道路。
人工智能的未來不會是一個單一的、巨大的、無所不知的AI系統，需要巨大的能量來訓練、運行和維護；
而會是個由許多小型AI系統組成的廣泛集合體，每個系統都有自己的專長，并相互連接，新的AI系統被開發來填補特定的專業。
事實上，開源基礎模型可以很容易地在數百種不同的方向上進行擴展和微調，以產生在其自身專業中表現出色的新模型。
Open LLM排行榜上表現最佳的模型大多不再是原始的開源基礎模型，如LLaMA或Mistral，而是對現有模型進行微調或合并的模型。
同時，計算資源相比于傳統的LLM訓練來說也要少得多。
目前，Hugging Face擁有50多萬個模型，涵蓋數十種不同的模態，原則上就可以組合成具有新能力的新模型。
Sakana AI把這個想法轉成了現實。他們研究出一種進化模型合并的方法，這是一種使用進化技術來有效地發現不同開源模型的最佳組合方式的通用方法。
圖片
論文地址：https://arxiv.org/abs/2403.13187
令人吃驚的是，進化模型合并的方法，能夠自動發現從非常不同的領域（如非英語語言和數學，或非英語語言和視覺）中合并不同模型的新方法，這些方法可能對人類專家自己來說都很難發現。
利用進化算法找到最優組合方式
人類的直覺是有限的。隨著開放模型和任務的多樣性不斷增長，一種更系統化的方法才能解鎖更有效的合并解決方案，那就是受自然選擇啟發的進化算法。
以下是一個簡單的進化算法的舉例，用于自動設計一個行駛距離很遠的二維汽車。
起初，會隨機產生許多設計，但只有少數可以向前移動的設計會將其成功的特征傳遞給下一代。
經過多代自然選擇，這些遺傳汽車可以在環境中高效地前進，穿越具有挑戰性的地形。
圖片
Sakana AI的進化模型合并方法，結合了兩種不同的進化方法。
1. 在數據流空間（層）中合并模型
這種方法是利用進化發現如何最優將不同模型的層組合成新模型。
直覺和啟發式方法被用于確定如何以及哪些層將一個模型的層與另一個模型的層組合起來。
圖片
這個問題具有組合性很強的大量搜索空間，最適合用優化算法（如進化）進行搜索。
2. 在參數空間（權重）中合并模型
第二種方法是演化出新的混合多個模型的權重的方法。
有無窮無盡的方式可以混合來自不同模型的權重，更不用說每一層的混合比例了。這就是進化方法可以應用于有效地找到組合多個模型的權重的新型混合策略的地方。
圖片
當這兩種方法一起使用的時候，Sakana AI團隊發現即使在相對相距較遠的兩個領域，例如數學和非英語語言，或視覺和非英語語言上，模型也能取得不錯的表現。
融合的新模型表現出色
- 大型語言模型（EvoLLM-JP）
Sakana AI團隊用進化模型合并的方法生成的第一個模型，是一個既會日語，又會數學的大語言模型。
為了構建這樣的模型，他們使用了一種進化算法，將日語LLM（Shisa-Gamma）與數學專用LLM（WizardMath和Abel）合并。
圖片
LLM性能比較，MGSM-JA列顯示了正確答案的百分比。模型1-3是原始模型，模型4-6是優化的合并模型。模型7-10是用于比較的現有高性能LLM的分數。
上表報告了演化的LLM模型的結果。模型4在參數空間中進行了優化，模型6進一步在數據流空間中使用模型4進行了優化。
這些模型的正確響應率顯著高于三個源模型的正確響應率。
這個模型也可以產生一些有趣的示例，例如能夠解答需要特定日本文化知識的數學問題等。
- 視覺語言模型（EvoVLM-JP）
進化算法不僅能夠發現將僅處理文本的LLMs合并的新穎方法，還能夠演變出為不同目的創建的不同架構的模型。例如日語和視覺結合的大模型。
JA-VG-VQA-500和JA-VLM-Bench-In-the-Wild都是關于圖像的問題和答案的基準測試。得分越高，描述的準確性就越高。
有趣的是，合并之后的模型不僅能夠比其基礎LLaVa-1.6-Mistral-7B的英語VLM實現更高的分數，而且比現有的日語VLM JSVLM得分更高。
圖片
以下是一個的EvoVLM-JP的回答示例。大多數其他模型通常會輸出綠色作為答案，但EvoVLM-JP的答案是藍色。
綠色在技術上并不是錯誤的，但在日本的習慣中，交通燈的「前進許可」被描述為「藍燈」。如果你正在學習日語，這是一個日本文化中很有趣的例子。
圖片
- 圖像生成模型（EvoSDXL-JP）
進化算法也可以自動發現合并不同擴散模型的方法，而且生成速度特別快。
比如適用于日語的EvoSDXL-JP用「味噌拉面，最高品質的浮世繪，北齋，江戶時代」這四個關鍵詞，就能快速生成如下的圖片，是不是很神奇？
圖片
預示AI發展新趨勢？
在論文的最后，作者表示，現在僅僅呈現的是初步結果，也僅僅是將進化原則應用于基礎模型開發的長期發展的開端。
這個項目背后的想法不是要創建更好的模型，而是為了獲得更多指標，以幫助制定更有原則性的模型合并方法。
英偉達的高級科學家Jim Fan都評價道，
「基礎模型社區幾乎完全集中在學習上，但沒有把重點放在搜索上。我相信后者在訓練（進化算法）和推理（AlphaGo風格的搜索）階段都有巨大的潛力。」
圖片
除了模型選擇，Sakana AI團隊還在探索使用進化來產生一群具有各自獨特領域和行為的多樣基礎模型。
那這是不是預示著，能自我改進的模型集體智能也不遠了？
參考資料：
https://twitter.com/DrJimFan/status/1771927650883522899
