既然大模型應用的編程范式是面向提示詞的編程，需要建立一個全面且結構化的提示詞庫， 對提示詞進行持續優化也是必不可少的，那么如何在大模型應用中更好的管理提示詞呢？
1. 提示詞回顧
提示詞在本質上是向大型語言模型（例如GPT-4）提出的具體問題，它們作為初始輸入，指導著人工智能生成相應的輸出。在利用這些大模型進行查詢時，妥善管理提示詞是至關重要的。由于這些模型的輸出具有一定的隨機性，即使使用相同的提示詞，在相似的條件下，模型的響應也可能呈現出顯著的差異。這種差異往往源于提示詞本身的結構設計。
那么，為何要重視提示詞呢？這是因為提示詞的特異性、清晰度以及結構安排直接決定了AI輸出的準確度和相關性。一個經過精心設計的提示詞能夠引導模型產生更為精確且有價值的反饋；相反，一個表達模糊或結構混亂的提示詞，則可能導致輸出內容變得泛泛而無趣或者與期望相去甚遠。
在使用大型語言模型的過程中，即使是措辭上的細微變化，也會對最終的輸出產生顯著影響。例如，“解釋太陽能電池是如何工作的”與“描述光伏電池的技術機制”，雖然兩者都在詢問有關太陽能方面的信息，但后者的表述更可能促使模型給出深入的技術細節。此外，如果在提示詞中加入特定的上下文或約束條件，還能進一步優化輸出內容的精確度。
不同模型之間對于提示詞的偏好也可能存在差異。因為這些模型是基于統計模式構建的，因此，尋找到最高效的提示詞往往需要通過實驗來摸索。根據模型的反饋不斷地調整并優化你的提示詞，可以增進你對模型交互方式的理解，從而更有效地達到你所需的結果。
2. 提示詞的進一步理解
為大型語言模型（Large Language Model, LLLM）應用設計一個有效的提示，需要在清晰度、特異性以及上下文之間實現微妙的平衡。盡管不存在一個通用的完美模板，但深入理解并合理運用提示詞的各個組成部分，卻能顯著提升基于LLM的應用程序的整體性能。
精心設計的提示詞應當清晰而具體，避免模糊性，確保AI能夠準確解讀意圖。同時，合適的上下文信息能夠為AI提供必要的背景知識，幫助它更好地聚焦于所求答案的相關領域。
2.1 上下文
提示詞的上下文或背景元素為大模型提供了必要的信息，從而生成相關且準確的響應。這些上下文包括：
- 歷史交互：從先前的交互或聊天記錄中獲取的數據，能夠幫助模型更好地理解正在進行的對話內容以及用戶的具體偏好，從而做出更為貼切的回應。
- 檢索增強信息：檢索增強信息涉及從外部來源抽取相關數據，并運用高級技術如 RAG。通過整合來自矢量數據庫的最新資訊，RAG顯著提升了大模型響應的準確性與相關性。以向量形式高效存儲數據，使RAG能夠有效查詢并檢索與特定上下文相關的信息，從而使系統能夠產生更加知情和精確定制的答案。
- 內部數據訪問：對于某些應用程序，例如人工智能銀行代理，訪問內部數據庫顯得尤為重要。這可能涉及檢索用戶的賬戶余額或最近的交易記錄，以支持提供個性化的財務建議。
通過整合這些上下文元素，大模型能夠更全面地理解查詢的背景，進而生成更加精準、貼合用戶需求的響應。
2.2 指令
指令為大型語言模型在特定上下文中的行動提供了明確指引，至少應當包含以下兩個關鍵要素：
- 任務定義：清晰闡述所要完成的任務，無論是解答問題、撰寫內容還是進行深度分析，都需直接且具體地解釋模型所需承擔的職責。
- 方法細節：提供具體的指導，說明模型應如何利用提供的上下文信息來完成任務。這可能涉及對特定類型信息的排序指令，或是處理信息中的不明確和模糊之處的具體步驟。
通過精確的任務定義和方法細節，可以確保大模型在執行指令時，能夠沿著既定的路徑高效達成目標。
2.3 輸入數據
輸入數據是大模型運作的基礎，其具體內容可能因應用程序和特定用例而千差萬別。一般而言，輸入數據主要包含以下兩類信息：
- 用戶生成的Query：這是由用戶主動發起的問題或指令，作為觸發大模型執行特定任務的起點。
- 豐富后的信息：為了增強用戶輸入的意義和深度，系統會從外部數據庫或互聯網中提取相關數據，這些附加的細節能夠為大模型提供更全面的背景知識。
通過數據輸入的補充，大模型能夠提供更具針對性的答案或解決方案。
2.4 輸出指示器
輸出指示器在大模型的運作中扮演著關鍵角色，它確保模型的響應不僅精準地回應了用戶的查詢，還符合用戶的期望和系統的要求。以下是兩個主要的示例：
- 響應格式：這決定了模型輸出的形式，無論是對話式的交互、正式的報告文檔，還是結構化的數據格式（如JSON對象），都需明確指定，以確保輸出內容的適用性和易用性。
- 字段規范：在涉及數據驅動的輸出時，這一部分詳細規定了需要填充的字段及其格式，確保信息的準確傳遞和有效組織。
在真實的生產環境中，提示詞的管理通常更為復雜，可能包括：
- 特定于模型的上下文：這包括所使用的AI模型的具體信息（例如，Llama 3、GPT-4等），這些背景信息對于根據模型已知的能力和局限性來構建有效的提示至關重要。
- 模型設置：這涉及到調整模型的行為參數，例如“溫度”或“最大token數”，這些參數影響模型的創造力或輸出的長度，從而提供更個性化的響應。
3.什么是提示詞管理
大模型應用需要一個針對產品級大型語言模型的高效管理系統。這一系統致力于精確處理輸入至語言模型的各類查詢與指令，其運作機制可類比于數字圖書館的管理體系，只不過這里的“藏書”換成了一個個精心設計的提示詞。
從抽象視角來看，提示詞管理是一系列優化實踐的集合，旨在提升應用程序中大模型對提示的處理能力。其核心在于實現提示詞的版本控制，確保其與應用程序的核心代碼及部署流程相分離，同時保證從請求的角度能夠輕松追蹤。鑒于多人協作在快速開發中的普遍性，提示詞管理系統還支持不同版本的并行開發與測試，確保這一過程不會干擾到生產環境的穩定性。此框架為團隊成員提供了一個共享的工作空間，他們可以在此獨立地開展工作并對提示詞進行測試。
該框架借鑒了傳統軟件開發的基本準則，并針對大模型應用程序的獨特需求進行了適應性調整，涵蓋了其他需要特別關注的“可編碼”元素。
另外，提示詞管理與提示詞工程略有不同。后者關注于創造性的設計提示詞以最大化每次與大模型交互的效率，涉及一系列獨特的實踐和原則。而前者則更側重于及時、高效的管理流程，與機器學習領域內傳統的代碼或模型管理緊密相連，盡管聯系緊密，但二者在概念上仍有明顯區別。
4. 提示詞管理的方式
提示詞管理確保了對提示詞的精確控制，并顯著提升了與大型語言模型的互動效率。通過系統化的方法來組織、存儲和檢索這些提示詞，使得在實際應用中能夠迅速找到并應用最合適的提示詞，從而提升模型響應的相關性與準確性。此外，有效的提示詞管理還涉及持續的監控和優化過程，能夠根據模型性能反饋及時調整提示詞策略，確保與大模型的交互保持在最佳狀態。
4.1 保存更改日志
即便缺乏專門的大模型平臺，跟蹤提示詞的變遷也是至關重要的。一個簡便而有效的方法是將每個版本的提示詞存儲在Git倉庫中。盡管這并非最復雜的方法，它直接將提示更新與應用程序部署關聯起來，可能需要讓領域專家或提示工程師等團隊成員訪問倉庫，但此策略使得回退至之前的版本變得簡單易行，這對調試或理解過往問題極為有用。
4.2 應用代碼解耦提示詞
為了增強安全性和訪問控制，建議將提示詞存儲在獨立于應用程序代碼的存儲庫中。這樣做可以在不泄露完整代碼庫的前提下管理對提示詞的訪問權限，進而更精確地控制誰有權利查看和編輯這些關鍵元素。
4.3 模塊化提示詞
將提示詞視為構建模塊，通過設計可重用的組件并利用內插變量，可以保持提示詞的靈活性和便于更新。這種模塊化的方法不僅節省時間，還有助于維護應用程序不同部分之間的一致性。
4.4 監控使用成本
當依賴于第三方提供商時，使用大模型的成本可能會迅速增加。需要清楚的是，費用通常是根據大模型處理的token數量來計算的，因此，較長的提示詞和更詳盡的輸出結果將直接導致更高的費用。務必密切監控自己對大模型的使用量及相應的費用，這對于確保項目不超出預算至關重要。
4.5 定期評估提示詞的有效性
在一個大型模型中表現出色的提示詞，在另一個大模型中可能會效果不佳。為確保提示詞能達到預期效果，要建立一個全面的跟蹤系統。這個系統應能捕捉提示詞本身、輸入、輸出及詳細的元數據，如模型版本和配置參數。有了這些信息，我們就可以跨不同的場景和模型分析性能。這種跟蹤可以通過將數據記錄到數據庫或分析平臺來實現，為評估每個提示次的有效性提供了堅實的基礎。基于這些見解，我們可以不斷改進提示詞，確保它們與模型的功能和應用程序的需求保持一致。
圖片
5. 提示詞管理的參考工具
提示詞管理工具針對在生產環境中部署大型模型應用所帶來的若干實際挑戰，提供了有效的解決方案：
1. 版本控制：與軟件代碼管理類似，此工具能夠對提示進行版本控制和管理，確保僅使用那些經過驗證且最有效的提示。這種機制使得對提示的更新能夠獨立于應用程序部署之外，從而無需為了更新提示而重新部署整個應用程序。
2.協作和訪問控制：該工具支持不同利益相關者，例如項目經理、開發人員和領域專家，通過他們偏好的接口（例如用戶界面或軟件開發套件）獨立于核心應用程序和流水線系統進行提示詞的測試和部署。
3.集成和可跟蹤性：一個強大的提示管理系統能夠與更廣泛的模型基礎設施整合，包括模型調用及輸入/輸出存儲。這種設置不僅滿足直接的操作需求，還通過追蹤所有相關的模型交互細節（從用戶輸入到模型行為和輸出）來輔助進行全面評估。
這樣的管理和控制提升了操作的效率和透明度，同時確保了模型應用的穩定和優化。
當前已經有一些工具可以用于管理大模型應用程序的提示詞，例如Humanloop、Langfus等。特別地，需要介紹一下Langchain。LangChain 作為一個開源框架，旨在促進大模型應用的創建。該框架特別適合于構建思想鏈推理應用程序，這些應用程序需要一個模型來進行多步推理或工作流以提供解決方案或答案。它致力于簡化開發過程，降低在新系統和現有系統中嵌入高級人工智能語言功能的復雜性。它提供了一組健壯的工具，用于管理各種應用程序組件與 大模型 之間的交互，包括 API 調用管理、多步邏輯編排以及在復雜場景中對大模型的優化利用，詳見《解讀LangChain》。盡管LangChain 引入了 LangSmith，旨在填補監視和優化大模型應用在其生命周期中的空白，但它并沒有提供全面的工具來進行提示詞管理、工作流分析或詳細的模型使用和成本跟蹤。
5.1 參考工具之一：Humanloop
Humanloop 是一個多功能的開發平臺，旨在簡化大型語言模型團隊的協作工作。它支持在整個開發和生產階段管理、迭代和細化提示詞和模型，同時提供版本控制和多環境部署的功能。Humanloop 的一個顯著特性是它能夠在不同的模型配置上進行 A/B 測試，或者直接在已部署的應用程序中進行提示工程。
Humanloop 擅長于提示詞管理，并且能夠管理模型和數據，為評估提示詞和模型的有效性提供了一個靈活的框架。開發者可以使用 Python SDK 來創建詳細的提示詞，添加豐富的元數據，如模型配置和內插變量。然后可以通過模型激活這些提示詞，這些模型在指定的環境中充當 API 端點。
此外，Humanloop 還通過允許集成專門功能來增強提示詞的功能。這些工具可以執行從矢量數據庫檢索數據或執行外部 API 調用等任務，然后在大模型處理提示詞之前將這些結果無縫地合并到提示詞中。這種集成通過第三方服務如 Pinecone 來支持語義搜索等高級功能。
5.2 參考工具之二：Langfuse
Langfuse 是一個開源平臺，專注于增強大型模型應用的可觀察性和分析性。它的自托管支持為開發人員提供了在不同基礎設施約束下工作的靈活性。Langfuse 配備了一個強大的提示詞管理系統，允許開發人員在存儲庫中記錄、版本控制、標記和分類提示詞。此系統還具備根據用戶輸入動態組裝這些提示詞的能力，這對于保持其快速相關性和有效性至關重要。每個提示詞都與包含模型類型和版本等詳細信息的元數據相關聯，從而增強了與底層模型基礎設施的集成。
開發人員可以利用Prompt Playground實時測試提示詞——這一功能支持對選定的模型提供商實時執行提示詞。這不僅有助于即時驗證，還能進行不同提示詞間的比較，以識別最有效的選項。此外，Langfuse支持以多種格式導出提示詞，提升其在其他平臺上的使用，從而增強了互操作性和靈活性。除了管理和測試提示詞外，Langfuse還允許從應用程序請求數據創建數據集，這對于進一步測試、微調模型或實施及時評估極為有用。
Langfuse能詳細監控大型模型API調用的每個環節。該平臺能夠跟蹤每個請求的完整流程，包括與矢量數據庫和嵌入模型的所有交互。這種詳細的可見性對于調試和優化大型模型應用程序工作流來說至關重要，使開發人員能更容易快速地識別和解決問題。它還監控le了大型模型使用成本相關的指標，這對于維持預算友好型運營至關重要。開發人員可以根據模型評估、手動評分或用戶反饋等多種標準來評估提示詞輸出的質量，結果可以通過Langfuse儀表板上的直觀圖表方便地展示。
總的來說，Langfuse將提示詞管理、請求跟蹤和強大的數據分析工具相結合，對于那些尋求提高大型模型應用性能和增強可觀察性的用戶而言，是一個非常有吸引力的選擇。更多關于Langfuse的信息，包括詳盡的文檔和用戶支持，可以訪問他們的官方網站或文檔頁面獲取。
6.小結
在本文中，我們探討了提示詞管理作為大型模型應用不可或缺的一部分所扮演的角色，這一方法在與傳統的軟件或機器學習模型開發相比時顯示出其獨特性。提示詞是大模型應用的核心，涵蓋了所有必要的細節，如大型模型的調用、上下文、元數據等。我們已經認識到開發評估方法以有效地測試和監控部署的重要性。根據應用場景的不同，這些提示詞還可能需要與向量存儲進行交互以增加上下文或整合第三方服務。
[參考資料與關聯閱讀]
