隨著最近應用迅速普及開來、人工智能（AI）得到廣泛采用，大語言模型（LLM）已變得備受廣大公司企業、開發人員和非開發人員的歡迎，因為它們為用戶提供了諸多好處。它們幫助開發人員調試代碼并生成代碼片段，還幫助澄清看似復雜的編程概念和任務，從而提高生產力。

只要用于訓練的數據集涵蓋主題，使用LLM的非開發人員就可以受益于對問題做出快速且定制的響應和答復。

LLM簡介

大語言模型（LLM）是能夠理解和生成文本以及處理其他任務的AI模型。它們使用龐大的數據集加以訓練，所以它們被稱為“大語言模型”。

Transformer算法是訓練LLM所使用的主要算法。LLM高度依賴數據，模型的質量與用于訓練模型的數據的質量成正比。

LLM的實際應用

LLM被廣泛應用于各種應用領域，包括但不限于：

• 客戶支持服務

LLM被公司企業用來以自然流暢的方式為客戶的常見問題提供量身定制的回答。由于具有多語言功能，LLM可以理解和回答使用不同語言的查詢，這可以惠及不同國籍的客戶。

• 內容生成

LLM具有生成能力。它們可以根據用戶提示或輸入生成文本內容，比如詩歌、商業提案和電子郵件等。然而，一些生成的內容可能不正確、過時或不道德。始終建議對LLM生成的內容進行驗證。

• 情緒分析

LLM可以分析文本的情感和語氣。企業以多種方式使用這種能力。比如說，它們對客戶反饋進行情緒分析，以確定滿意度。

• 幫助研究

LLM可以幫助用戶研究新的課程或概念，生成學習路線圖，并在遇到挑戰時解釋低級概念。

• 醫療保健

LLM用于醫療保健管理、衛生人員支持、研究用途以及在沒有醫療人員在場的情況下對患者提供虛擬幫助。用于醫療保健領域的這些LLM使用經過驗證的龐大醫療數據集、文獻甚至新的發現成果加以訓練。

• 搜索引擎

傳統的搜索引擎基于關鍵字算法，這使得它們在處理拼寫錯誤以及理解人類語言、上下文和意圖方面的效率略低于LLM。然而隨著LLM目前被用于搜索引擎，這種情況已發生了變化，搜索引擎能夠更有效地返回搜索結果。

在現有軟件系統中集成LLM的方法

明確目的是成功地將LLM集成到現有軟件系統中的關鍵；這樣，可以實施正確的方法來克服挑戰，又不會造成額外的開銷。

以下是將LLM集成到現有軟件系統中的建議步驟：

1. 選擇合適的LLM或API提供商

根據業務需求、技術團隊具備的技能、時間限制以及針對某些技術的熟悉程度，可以選擇合適的預訓練模型進行集成。在選擇要集成到項目中的模型時，還應該考慮其他因素，比如模型的準確性、模型延遲、可擴展性以及運行模型的成本。

下面列出了一些可用的選項和相關鏈接：

• OpenAI API提供了對GPT-3和GPT-4模型的訪問：??https://platform.openai.com/docs/models??
• Azure認知服務：??https://azure.microsoft.com/en-us/services/cognitive-services/openai-service/??
• Facebook的LlaMA：??https://ai.meta.com/blog/large-language-model-llama-meta-ai/??
• 谷歌的BERT：??https://research.google/blog/open-sourcing-bert-state-of-the-art-pre-training-for-natural-language-processing/??
• Hugging Face
• 自定義訓練LLM（這可以通過使用PyTorch、TensorFlow或Hugging Face的Transformers等框架使用可用數據集以訓練模型來實現）。

2. 選擇所需的集成機制

LLM可以通過針對公開可用的模型、托管的微調模型或任何滿足你需求的模型進行API調用加以集成。通過針對公共模型的API調用加以集成始終是更容易的選擇。

你只需要操心通過API密鑰獲得訪問的成本，不必擔心基礎設施或軟件更新；LLM API提供商會為你處理所有這一切。

托管自定義LLM便于你微調和利用滿足特定業務需求的模型。托管你的自定義模型可以讓你控制成本和性能，并且與公共API服務相比，它還提供了隱私。

在托管自定義模型時，你需要做以下工作：

• 從Hugging Face之類的存儲庫選擇并下載公開可用的或開源的預訓練LLM，比如GPT2、GPT3、BERT甚至T5。
• 根據你的特定數據集對模型進行微調，以便與你的用例或應用場景保持一致；這樣，響應針對特定領域進行定制，從而使模型更有效（可選步驟）。

3. 搭建基礎設施

如果你決定自行托管自定義模型而不是使用公共API服務，這個步驟必不可少。托管LLM需要擁有強大算力的硬件，因此最好使用搭載GPU的硬件以獲得更好的性能。

可用于托管LLM的兩個選項是：

• 自托管（本地）
• 云托管

4. 服務模型

Flask或FastApi是連接和服務LLM模型最常用的兩種后端框架。你可以使用其中任何一種與LLM交互并返回響應。

如果你不想處理硬件購買、冷卻、維護、軟件升級及其他相關任務，可以選擇云托管這個選項。這涉及使用基于云GPU的虛擬機來部署LLM。Azure、AWS或谷歌云等云提供商提供了良好的服務。

5. 處理數據

確保發送到LLM的數據得到正確的清理和標記，以便更好地理解模型并提高響應質量。

6. 錯誤處理

建立允許“優雅退化”的機制。無論何時發生錯誤，都可以返回默認響應，而不是讓整個應用程序崩潰。

7. 安全/隱私方面的考量

模型在進行推理時不能暴露敏感信息，因此必須采取措施以保證重要信息的隱蔽性。

將LLM集成到軟件系統中的缺點

盡管將LLM集成到現有軟件中有諸多優點，但也有一些缺點值得注意和考慮。

• 由于嚴重依賴高端GPU和TPU，訓練模型和模型推理期間需要計算成本。
• 頻繁調用API可能成本高昂，對于高流量應用而言更是如此。
• 如果將敏感數據發送到LLM，敏感數據可能會加以處理、存儲和暴露給另一個用戶，特別是當所使用的LLM可供公眾訪問時。
• 除了適當微調的自定義模型外，大多數LLM只能提供開放式和通用的響應，而無法提供專業領域知識。
• 訓練LLM需要消耗大量能源，這可能導致碳排放量高和環境污染。

結論

如果操作得當，將LLM集成到現有軟件系統中大有助益，Meta、谷歌和X等許多知名的科技公司已經這么做了。它使軟件智能化，能夠解決當代的復雜任務。

在將現有的軟件與LLM集成之前，你必須先定義希望它解決的問題和具體用例，然后選擇合適的模型，并采用集成機制。

原文標題：??Integrating Language Models into Existing Software Systems??，作者：Shittu Olumide