編譯 | 伊風
出品 | 51CTO技術棧（微信號：blog51cto）
在人工智能領域的競爭中，科技巨頭們一直在競相構建越來越大的語言模型。Scaling Law 信仰隨著模型規模的增加，其性能會指數提升，展現出更好的泛化能力，甚至在某些情況下展現出“涌現”的能力。
然而，一個令人驚訝的新趨勢正在浮現：小即是新大。隨著大型語言模型（LLMs）的進步顯示出一些趨于平穩的跡象，研究人員和開發者越來越多地將注意力轉向小型語言模型（SLMs）。這些緊湊、高效且高度適應性強的人工智能模型正在挑戰“越大越好”的觀念，承諾將改變我們對人工智能開發的方法。
1.LLMs開始趨于平穩了嗎？
最近由Vellum和HuggingFace發布的性能比較顯示，LLMs之間的性能差距正在迅速縮小。這一趨勢在特定任務中尤為明顯，例如多項選擇題、推理和數學問題，頂級模型之間的性能差異微乎其微。
例如，在多項選擇題中，Claude 3 Opus、GPT-4和Gemini Ultra的得分都超過了83%，而在推理任務中，Claude 3 Opus、GPT-4和Gemini 1.5 Pro的準確率超過了92%。
有趣的是，即使是像Mixtral 8x7B和Llama 2 – 70B這樣的小型模型，在某些領域，如推理和多項選擇題，也顯示出了令人驚喜的結果，它們在這些領域超過了一些較大的模型。這表明模型的大小可能并不是性能的唯一決定因素，其他方面，如架構、訓練數據和微調技術，可能也扮演著重要角色。
最近宣布新的LLMs的研究論文都指向了同一個方向：“如果你只是從經驗上看，最近十幾篇文章都處于與GPT-4相同的一般領域，”Gary Marcus說，他是Uber AI的前負責人，也是關于構建可信人工智能的書籍《重啟人工智能》的作者。Marcus在周四與VentureBeat進行了交談。
“其中一些比GPT-4稍好，但沒有質的飛躍。我認為每個人都會說GPT-4比GPT-3.5領先一代。但一年過去了，大模型仍然沒有[質的飛躍]，”Marcus說。
隨著性能差距的持續縮小，越來越多的模型展示出競爭性的結果，這引發了一個問題，即LLMs是否真的開始趨于平穩。如果這一趨勢持續下去，它可能對未來語言模型的開發和部署產生重大影響，可能將重點從簡單地增加模型大小轉移到探索更高效和專業化的架構。
2.LLM方法的缺點
LLMs雖然無疑很強大，但也伴隨著顯著的缺點。首先，訓練LLMs需要大量的數據，需要數十億甚至數萬億個參數。這使得訓練過程極其資源密集，訓練和運行LLMs所需的計算能力和能源消耗是驚人的。這導致了高昂的成本，使得較小的組織或個人難以參與核心LLM開發。去年在麻省理工學院的一個活動中，OpenAI首席執行官Sam Altman表示，訓練GPT-4的成本至少為1億美元。
其次，與LLMs合作所需的工具和技術的復雜性也呈現出陡峭的學習曲線，進一步限制了可訪問性。對于開發者來說，從訓練到構建和部署模型的周期時間很長，這減緩了開發和實驗的速度。劍橋大學最近的一篇論文顯示，公司可能需要90天或更長時間來部署一個單一的機器學習（ML）模型。
LLMs的另一個重大問題是它們容易產生幻覺——生成看似合理但實際上并不真實或事實的輸出。這源于LLMs被訓練來根據訓練數據中的模式預測下一個最可能的單詞，而不是真正理解信息。因此，LLMs可以自信地產生虛假陳述，編造事實或以荒謬的方式結合不相關的概念。檢測和減輕這些幻覺是構建可靠和可信語言模型的一個持續挑戰。
“你試圖用它來解決一個高風險問題，如果你不想侮辱你的客戶，或獲得錯誤的醫療信息，或用它冒著生命危險來駕駛汽車。那仍然是一個問題，”Marcus警告說。
LLMs的規模和黑盒性質也使它們難以解釋和調試，這對于建立對模型輸出的信任也造成重大的障礙。訓練數據和算法中的偏見可能導致不公平、不準確甚至有害的輸出。正如谷歌Gemini所看到的，使LLMs“安全”和可靠的技術也可能降低它們的有效性。此外，LLMs的集中化性質也引發了關于權力和控制在少數大型科技公司手中的擔憂。
3.小型語言模型（SLMs）的登場
小型語言模型（SLMs）是LLMs的更簡化版本，參數更少，設計更簡單。它們需要較少的數據和訓練時間——想象一下幾分鐘或幾個小時，而不像LLMs花費許多天。這使得SLMs更高效，更容易在現場或較小的設備上實施。
SLMs的一個關鍵優勢是它們適合特定應用。因為它們的范圍更集中，需要的數據更少，所以它們可以比大型通用模型更容易地針對特定領域或任務進行微調。這種定制使得公司能夠創建針對其特定需求非常有效的SLMs，如情感分析、命名實體識別或特定領域的問答。與使用更通用的模型相比，SLMs的專業性質可以在這些目標應用中帶來更好的性能和效率。
SLMs的另一個好處是它們對增強隱私和安全的潛力。由于代碼庫更小，架構更簡單，SLMs更容易進行審計，不太可能有意外的漏洞。這使得它們對于處理敏感數據的應用具有吸引力，例如在醫療保健或金融領域，數據泄露可能會產生嚴重后果。此外，SLMs的計算需求減少，使它們更可行地在設備或本地服務器上本地運行，而不是依賴云基礎設施。這種本地處理可以進一步提高數據安全性，減少在數據傳輸過程中的風險。
與LLMs相比，SLMs在其特定領域內不太可能出現未被發現的幻覺。SLMs通常在更狹窄、更有針對性的數據集上進行訓練，這些數據集特定于其預期的領域或應用，這有助于模型學習與其任務最相關的模式、詞匯和信息。這種專注減少了生成不相關、意外或不一致輸出的可能性。由于參數更少，架構更簡化，SLMs不太可能捕捉和放大訓練數據中的噪聲或錯誤。
AI初創公司HuggingFace的首席執行官Clem Delangue建議，高達99%的用例可以使用SLMs解決，并預測2024年將是SLM之年。HuggingFace的平臺使開發者能夠構建、訓練和部署機器學習模型，該公司今年早些時候宣布與谷歌建立了戰略合作伙伴關系。隨后，兩家公司將HuggingFace集成到谷歌的Vertex AI中，使開發者能夠通過谷歌Vertex Model Garden快速部署數千個模型。
4.小型語言模型的變革潛力
隨著人工智能社區繼續探索小型語言模型的潛力，更快的開發周期、提高的效率以及根據特定需求定制模型的能力等優勢變得越來越明顯。SLMs有望民主化人工智能的獲取，并通過對行業進行成本效益高和針對性的解決方案來推動創新。
在邊緣部署SLMs為金融、娛樂、汽車系統、教育、電子商務和醫療保健等各個領域中實時、個性化和安全的應用程序開辟了新的可能性。
通過本地處理數據并減少對云基礎設施的依賴，帶有SLMs的邊緣計算實現了更快的響應時間、改善的數據隱私和增強的用戶體驗。這種去中心化的人工智能方法有可能改變企業和消費者與技術互動的方式，在現實世界中創造更個性化和直觀的體驗。隨著LLMs面臨與計算資源相關的挑戰，并可能達到性能平穩，SLMs的崛起承諾將以令人印象深刻的速度保持人工智能生態系統的發展。
根據彭博社報道，蘋果計劃在 iOS 18 中推出的第一組新人工智能功能將根本不依賴于云服務器。可見，隨著AI能力在端側的落地，小模型的時代才剛剛開始。
參考鏈接：https://venturebeat.com/ai/why-small-language-models-are-the-next-big-thing-in-ai/
