使用Prompty構建和管理LLM提示
譯文譯者 | 布加迪
審校 | 重樓
將生成式AI加入到應用程序中遇到的一個問題是，沒有管理提示的標準方法。通常情況下，每個將AI加入到代碼中的團隊都采用不同的方法，以不同的方式管理數據。他們一次次地重新發明輪子，并未借鑒其他團隊和項目經驗。
為每個應用程序構建新的AI交互模型，并采用不同的方式來存儲、使用和更新提示，這純屬浪費時間。AI開發人員的資源有限，經驗豐富的開發人員分散在多個項目中。對于記住每個應用程序的工作方式以及他們需要如何構建和測試提示毫無成效可言。
使用不同的AI模型增添了復雜性。團隊可能在使用大語言模型（LLM），比如OpenAI的GPT、Facebook的Llama、Anthropic的Claude，或者基于Hugging Face的開源模型的自定義工具。也許他們決定構建一個使用本地小語言模型（比如微軟的Phi）的應用程序。
Prompty簡介
我們需要一種與LLM無關的方式來處理模型，以便我們在開發工具中試用模型，這樣我們可以在不切換上下文的情況下使用模型。這就是微軟贊助的Prompty項目的由來。它是一個Visual Studio Code擴展，有助于解決處理LLM及其他生成式AI工具時面臨的許多問題。
可以在GitHub上找到Prompty，它是一個活躍的開源項目。你可以貢獻代碼或向開發團隊提出請求。如果你更喜歡開始編寫代碼，可以在Visual Studio Code市場中找到Prompty，它與文件系統和代碼編輯器相集成。項目網站上有文檔，雖然目前內容有點貧乏，但對于入門用戶來說綽綽有余了。
Prompty是一個簡單易用的工具。易于理解的格式借鑒了熟悉的配置語言，比如YAML。因為我們用提示所做的任務是配置生成式AI。提示好比是定義模型搜索的語義空間的一種方式，以提供答案。
Prompty的核心是一種領域特定語言，用于描述與生成式AI之間的交互。它被嵌入到Visual Studio Code擴展中，該擴展充分利用了諸多功能，比如用于代碼格式化和檢查、高亮顯示錯誤以及提供代碼補全的語言服務器。它還支持Python輸出和C#輸出，未來版本將針對JavaScript和TypeScript。
如果你沒有深入研究Build 2024大會的內容，這場分會介紹了使用Prompty作為AI開發平臺的一部分。
使用Prompty構建提示
在代碼中使用Prompty與使用其他任何庫沒什么不同。除了Visual Studio Code擴展外，你還需要創建一個含有適當軟件包的應用程序框架。一旦你有了可以訪問LLM端點的應用程序框架，就可以使用Prompty擴展為你的代碼添加提示資產。在Visual Studio Code資源管理器中，鼠標右擊應用程序的根文件夾，并創建新的Prompty。這將為文件夾添加一個.prompty文件，可以根據需要重命名該文件。
打開.prompty文件，開始構建提示資產。這個格式化的文檔含有兩個部分：你正在構建的應用程序的詳細描述，含有所使用的模型的詳細信息和應用程序需要使用的任何參數，以及基于該模型的任何信息的樣本。第二部分含有基本系統提示，以定義你期望的輸出類型。然后是上下文，即使用LLM進行自然語言輸出的用戶或應用程序提供的信息。
有用的是，你可以使用Prompty來測試提示，并在Visual Studio Code的輸出窗格中顯示輸出。這讓你可以改進LLM輸出將使用的行為，比如在非正式的閑聊輸出與較正式的輸出之間切換。你需要提供適當的環境變量，包括任何身份驗證令牌。與往常一樣，最好將這些內容保存在一個單獨的文件中，以免無意中暴露它們。
結合使用Prompty與LLM編排器
一旦你編寫并測試了提示，可以導出提示資產數據，并將它與你選擇的LLM編排器結合使用，包括Azure AI Studio中的Prompt Flow和用于構建基于AI的獨立代理的Semantic Kernel。這種方法允許你使用Prompty提示作為基于檢索增強生成（RAG）的應用程序的基礎，通過添加基礎數據并使用提示生成接駁外部數據源的自然語言接口，降低輸出錯誤的風險。
因而生成的函數使用Prompty提示描述來構建與LLM之間的交互，你可以將其封裝在異步操作中。結果是一個AI應用程序，除了組裝用戶輸入和顯示LLM輸出外，基本沒有多少代碼。許多繁重的工作由Semantic Kernel等工具處理；通過將提示定義與應用程序相分離，你就可以使用.prompty資產文件在應用程序之外更新LLM交互。
將Prompty資產添加到應用程序中很簡單，只需選擇編排器并自動生成代碼片段，以便將提示添加到應用程序中。目前只支持數量有限的編排器，但這是一個開源項目，因此你可以提交額外的代碼生成器來支持其他的應用程序開發工具鏈。
最后一點尤其重要：Prompty目前專注于為云托管的LLM構建提示，但我們正從大模型轉向更小、更專門的工具，比如微軟的Phi Silica，它們旨在在個人邊緣硬件、甚至手機端的神經處理單元上運行。
如果我們要交付邊緣AI應用程序，Prompty之類的工具應該是我們工具鏈的一部分，它們需要與本地端點一起工作，為常用SDK生成API調用。微軟是否會擴展Prompty以處理Phi Silica類值得拭目以待，微軟承諾會在Windows App SDK中提供Phi Silica類，作為Copilot運行時環境的一部分。這將為.Net和C++開發人員提供必要的工具來管理本地提示和面向云的提示。
發展壯大AI工具鏈
像這樣的工具是AI應用程序開發工具鏈的重要組成部分，因為它們允許不同技能集的人進行協作。在這里，提示工程師獲得一個工具來構建和管理所需的提示，以一種允許應用程序開發人員在其代碼中使用提示的方式交付一致的AI應用程序。Visual Studio Code允許我們將擴展組裝成一個連貫的工具鏈，這種方法可能比擁有單一的AI開發環境要好。
如果你正在調整模型，可以使用Windows AI工具包。如果你在構建提示，那么Prompty適合你，而開發人員可以為所選擇的編排器、Windows App SDK以及所選擇的C++或C++工具使用相應的工具。Visual Studio Code允許你選擇某個項目所需的擴展，架構師可以使用微軟的Dev Box虛擬機或GitHub Codespaces，借助相應的工具鏈構建和管理適當的開發環境。
Prompty是為LLM應用程序開發提供更成熟方法的重要組成部分。通過在代碼外測試和調試提示的同時將提示記入文檔，你可以并行構建應用程序和提示，幫助提示工程師和應用程序開發人員更有效地協作，就像Figma等前端技術可以助力在Web上與設計人員進行類似的協作一樣。
原文標題：Build and manage LLM prompts with Prompty，作者：Simon Bisson
