譯者 | 布加迪

審校 | 重樓

在AI領域，科技巨頭們一直在競相構建越來越龐大的語言模型，如今出現了一個令人驚訝的新趨勢：小就是大。隨著大語言模型（LLM）方面的進展出現了停滯的跡象，研究人員和開發人員日益開始將注意力轉向小語言模型（SLM）。這種緊湊、高效、適應性強的AI模型正在挑戰“越大越好”這個觀念，有望改變我們對待AI開發的方式。

LLM是否開始停滯？

Vellum和HuggingFace最近發布的性能比較結果表明，LLM之間的性能差距在迅速縮小。這個趨勢在多項選擇題、推理和數學問題等特定任務中體現得尤為明顯；在這些任務中，各大模型之間的性能差異很小。比如在多項選擇題中，Claude 3 Opus、GPT-4和Gemini Ultra的準確率都在83%以上，而在推理任務中，Claude 3 Opus、GPT-4和Gemini 1.5 Pro的準確率超過92%。

有意思的是，連較小的模型（比如Mixtral 8x7B和Llama 2 - 70B）在某些方面也顯示出了讓人驚喜的結果，比如推理和多項選擇題；在這些方面，小模型的表現勝過一些大模型。這表明模型的大小可能不是決定性能的唯一因素，而架構、訓練數據和微調技術等其他方面可能發揮重要作用。

Uber AI前負責人、《重啟人工智能》（Rebooting AI）一書的作者Gary Marcus表示：“如果看一下最近發表的十幾篇文章，它們大體上都與GPT-4處于同一個水準。”《重啟人工智能》講述了如何構建值得信賴的AI。Marcus周四接受了IT外媒《VentureBeat》的采訪。

“其中一些比GPT-4好一點，但沒有大的飛躍。我想每個人都會說GPT-4比GPT-3.5是一大進步，一年多的時間里并沒有任何大的飛躍。”

隨著性能差距繼續縮小，更多的模型顯示出頗具競爭力的結果，這引發了LLM是否真的開始停滯的問題。如果這種趨勢持續下去，可能會對語言模型的未來開發和部署產生重大影響，人們關注的重心可能會由一味增加模型大小轉向探索更有效、更專門化的架構上。

LLM方法的缺點

雖然不可否認LLM功能強大，但也有明顯的缺點。首先，訓練LLM需要大量的數據，需要數十億甚至數萬億個參數。這使得訓練過程極其耗費資源，訓練和運行LLM所需的算力和能耗也是驚人的。這導致了成本高企，使得小組織或個人很難參與核心LLM開發。在去年麻省理工學院組織的一次活動上，OpenAI首席執行官Sam Altman表示，訓練GPT-4的成本至少為1億美元。

處理LLM所需的工具和技術的復雜性也將一條陡峭的學習曲線擺在開發人員的面前，進一步限制了可訪問性。從模型訓練到構建和部署，開發人員面臨的周期很長，這減慢了開發和試驗的速度。劍橋大學最近的一篇論文顯示，公司部署單單一個機器學習模型就可能要花90天或更長的時間。

LLM的另一個重要問題是它們往往產生幻覺——生成看似合理但實際上并不真實的輸出。這源于LLM被訓練成基于訓練數據中的模式來預測下一個最有可能的單詞的方式，而不是真正了解信息。因此，LLM可以自信地做出虛假陳述，編造事實或以荒謬的方式組合不相關的概念。檢測和減輕這種幻覺現象是開發可靠的語言模型面臨的老大難問題。

Marcus警告：“如果你用LLM來解決重大問題，你不想侮辱客戶、得到錯誤的醫療信息，或者用它來駕駛汽車。這仍然是個問題。”

LLM的規模和黑盒性質也使它們難以解釋和調試，解釋和調試對于對模型的輸出建立信任至關重要。訓練數據和算法中的偏差可能導致不公平、不準確甚至有害的輸出。正如我們在谷歌Gemini中看到，使LLM“安全”而可靠的技術也會降低其有效性。此外，LLM的集中性質引發了對權力和控制權集中在少數大型科技公司手中的擔憂。

小語言模型（SLM）登場

這時候小語言模型登場了。SLM是LLM的精簡版，參數更少，設計更簡單。它們所需的數據和訓練時間更短，只需幾分鐘或幾個小時，而LLM需要幾天。這使得SLM部署在本地或小型設備上來得更高效更簡單。

SLM的主要優點之一是它們適合特定的應用環境。由于它們關注的范圍更狹小，需要更少的數據，所以比大型通用模型更容易針對特定領域或任務進行微調。這種定制使公司能夠創建對其特定需求而言非常有效的SLM，比如情緒分析、命名實體識別或特定領域的問題回答。與使用通用模型相比，SLM的專門化特性可以提升其在這些目標應用環境的性能和效率。

SLM的另一個好處是有望增強隱私和安全。使用更小的代碼庫和更簡單的架構，SLM更容易審計，并且不太可能出現意外漏洞。這使得它們對于處理敏感數據的應用環境頗有吸引力，比如在醫療保健或金融領域，數據泄露可能釀成嚴重后果。此外，SLM的計算需求減少，使得它們更適合在本地設備或本地服務器上運行，而不是依賴云基礎設施。這種本地處理可以進一步提高數據安全性，并降低數據在傳輸過程中暴露的風險。

與LLM相比，SLM在特定領域內更不容易出現未被發現的幻覺。SLM通常使用預期領域或應用環境特有的更狹窄、更有針對性的數據集進行訓練，這有助于模型學習與其任務最相關的模式、詞匯表和信息。這就降低了生成不相關、意外或不一致輸出的可能性。由于使用更少的參數和更精簡的架構，SLM不太容易捕獲和放大訓練數據中的噪音或錯誤。

AI初創公司HuggingFace的首席執行官Clem Delangue表示，高達99%的用例可以使用SLM來解決，并預測2024年將是SLM元年。HuggingFace的平臺使開發人員能夠構建、訓練和部署機器學習模型，該公司今年早些時候宣布與谷歌建立戰略合作伙伴關系。兩家公司隨后將HuggingFace整合到谷歌的Vertex AI中，允許開發人員通過谷歌Vertex Model Garden快速部署數千個模型。

谷歌Gemma受到追捧

在最初將LLM方面的優勢拱手讓給OpenAI之后，谷歌正積極抓住SLM機會。早在2月份，谷歌推出了Gemma，這是一系列新的小語言模型，旨在提高效率和用戶友好性。與其他SLM一樣，Gemma模型可以在各種普通設備上運行，如智能手機、平板電腦或筆記本電腦，不需要特殊的硬件或全面的優化。

自Gemma發布以來，經過訓練的模型上個月在HuggingFace上的下載量已經超過40萬次，而且已涌現出了幾個令人興奮的項目。比如說，Cerule是一個功能強大的圖像和語言模型，它結合了Gemma 2B和谷歌的SigLIP，使用大量的圖像和文本數據集進行了訓練。Cerule利用高效的數據選擇技術，可以在不需要大量數據或計算的情況下實現高性能。這意味著Cerule可能非常適合新興的邊緣計算用例。

另一個例子是CodeGemma，它是Gemma的專門版，專注于編程和數學推理。CodeGemma為各種編程相關的活動提供了三種不同的模型，使高級編程工具對開發人員來說更容易訪問、更高效。

小語言模型的巨大潛力

隨著AI社區繼續探索小語言模型的潛力，更快的開發周期、更高的效率以及能夠根據特定需求定制模型等優點變得越來越明顯。SLM有望通過帶來具有成本效益、具有針對性的解決方案，普及AI訪問，并推動行業創新。在邊緣部署SLM為金融、娛樂、汽車系統、教育、電子商務和醫療保健等行業領域的實時、個性化和安全的應用系統帶來了新的可能性。

通過在本地處理數據并減少對云基礎設施的依賴，結合SLM的邊緣計算可以縮短響應時間、增強數據隱私和改進用戶體驗。這種去中心化的AI方法有望改變企業和消費者與技術進行互動的方式，在現實世界中創造更個性化更直觀的體驗。由于LLM面臨與計算資源相關的挑戰，可能遇到性能瓶頸，因此，LLM的興起有望使AI生態系統繼續以驚人的步伐發展。

原文標題：Why small language models are the next big thing in AI，作者：James Thomason