譯者 | 布加迪

審校 | 重樓

小語言模型（SLM）是大語言模型（LLM）的緊湊版。它們包含的參數通常少于大語言模型：大約30億個參數或更少。這使得它們相對輕量級，推理時間更快。

SLM方面一個值得研究的主題是將它們集成到檢索增強生成（RAG）系統中，以增強其性能。本文探討了這一最新趨勢，概述了將SLM集成到RAG系統中的好處和局限性。

簡述SLM

為了更好地描述SLM，重要的是闡明它與LLM的區別。

• 大小和復雜性：雖然LLM可能有多達數萬億個參數，但SLM小得多，通常只有幾百萬到幾十億個參數。這仍然相當龐大，但生活中的一切都是相對的，尤其較之LLM。
• 所需資源：鑒于尺寸減小，SLM用于訓練和推理的計算資源不如LLM那么多。這種更高的資源效率是SLM的主要優勢之一。
• 模型性能：另一方面，由于全面的訓練過程、數量更多的參數，LLM在準確性方面往往更勝一籌，并且能夠應對比SLM更復雜的任務：LLM就像一個更大的大腦！同時，SLM在理解和生成具有復雜模式的文本方面可能存在局限性。

除了資源和成本效率外，SLM的其他優點還包括更高的部署靈活性，這是由于它是輕量級模型。另一個優點是它可以更快地微調特定領域的數據集。

至于SLM的缺點，除了對非常具有挑戰性的語言任務而言局限性更大外，其通用性較差，并且在處理針對它訓練的領域數據之外的語言時困難更大。

SLM與RAG系統的集成

將SLM集成到RAG系統中可以實現幾個目標，比如提高特定領域應用環境中的系統性能。如上所述，針對專用數據集微調SLM的成本明顯低于針對相同數據集微調LLM，并且RAG系統中的微調模型可以提供比使用通用文本訓練的基礎模型更準確、更符合上下文的響應。總之，SLM-RAG集成可以確保經過微調的生成器（SLM）生成的內容與檢索到的信息緊密相關，從而提高整個系統的準確性。

現在不妨回顧一下基本的RAG架構是什么樣子的（本文中“SLM”替換生成器內的“LLM”）：

圖1. RAG架構

上面討論的SLM在RAG系統中的作用實質上是成為系統的生成器。然而，將SLM集成到RAG系統中有很多方法。一種方法是成為額外的檢索器組件來增強性能，通過根據查詢相關性對檢索到的文檔進行排名或重新排名，從而為生成器確保更高質量的輸入，而生成器又可能是另一個SLM或LLM。SLM 還可能用于RAG系統中，以預處理或過濾檢索到的上下文，并確保僅將最相關或最高質量的信息傳遞給生成器：這種方法名為預生成過濾或增強。最后還有混合RAG架構，其中LLM和SLM可以作為生成器而共存：通過查詢路由機制，SLM負責處理簡單或特定領域的查詢，LLM 則負責處理需要更強上下文理解能力的復雜通用任務。

在RAG中使用SLM并不是各種情形下的首選方法，這種方法的一些挑戰和限制如下：

• 數據稀缺：高質量、特定領域的數據集對于訓練SLM至關重要，但并不總是容易找到。無法依賴足夠的數據可能會導致模型性能不佳。
• 詞匯限制：經過微調的SLM缺乏全面的詞匯，這會影響它理解和生成具有不同語言模式的不同響應的能力。
• 部署限制：盡管SLM的輕量級特性使其適合邊緣設備，但面對各種硬件確保兼容性和最佳性能仍然是一大挑戰。

由此我們得出結論，對于每個RAG應用來說，SLM并不普遍優于LLM。為您的RAG系統選擇SLM還是LLM應該取決于幾個標準：在專注于特定領域任務的系統中，在資源受限的情況下，以及在數據隱私至關重要的情況下，SLM更適合，這使得它比LLM更容易用于云之外的推理。相反，當復雜的查詢理解至關重要，并且需要檢索和處理更長的上下文窗口（大量文本信息）時，LLM是通用RAG應用的首選方法。

結語

SLM提供了一種經濟高效且靈活的LLM替代方案，尤其是對于簡化特定領域的RAG應用程序的開發。本文討論了在RAG系統中利用SLM的優勢和局限性，闡述了小語言模型在這些創新的檢索生成解決方案中的作用，這是當今AI研究領域的一個活躍主題。

原文標題：Exploring the Role of Smaller LMs in Augmenting RAG Systems，作者：Ivan Palomares Carrascosa