在LLM應用開發中，一個關鍵任務是構建高質量的提示，因為提示的質量直接影響LLM的性能表現。而其中至關重要的部分是上下文背景信息，RAG中的檢索目的也正是為構造這些背景素材。

現在，我們將關注一個衍生問題：如何將復雜結構的內容倉庫（如代碼庫、網站等）轉換為LLM友好的格式，以便后續使用。

以代碼庫為例，開發者們普遍面臨以下痛點：

• 復雜的目錄結構：大型項目通常包含多層嵌套的目錄和眾多文件，手動整理耗時且易出錯。
• 上下文缺失：單個文件的代碼往往缺乏完整上下文，而LLM需要全面的信息才能生成高質量輸出。
• 格式不一致：不同類型的文件（如源代碼、配置文件、文檔等）格式各異，需統一處理。
• 隱私安全問題：處理私有倉庫或敏感數據時，如何確保信息安全是重要考量。
• 大規模處理效率：面對大型代碼庫，如何高效提取和處理信息成為挑戰。

在這一領域，有一個代表性項目repo2txt[1]，它可以將GitHub中的Repo轉換為格式化的文本文件，方便LLM理解并作為提示使用。

repo2txt的核心特性包括：

• 基于Web的直觀界面：無需安裝，即開即用，降低了使用門檻。
• 倉庫結構可視化：清晰展示GitHub倉庫的目錄結構，便于快速定位內容。
• 靈活的內容選擇：用戶可以精確選擇需要包含的文件或目錄。
• 自動格式化：將選中的內容整合成統一格式的文本文件，便于LLM處理。
• 私有倉庫支持：通過個人訪問令牌，安全處理私有倉庫內容，保障數據隱私。
• 多種輸出選項：生成的文本可復制到剪貼板或直接下載，滿足不同使用場景。

訪問repo2txt.simplebasedomain.com[2]即可直接使用這個工具。用戶可以選擇要包含的文件或目錄，然后生成格式化的文本文件。值得一提的是，它在瀏覽器端直接運行，拉取代碼到本地，不涉及后端交互，從而保障了代碼隱私。

此外，還有一些同類項目值得關注，如files-to-prompt[3]和code2prompt[4]。

對于更泛化的場景，如復雜網站，保存成一個文件同樣繁瑣，而libcrawler是一個很好的解決方案，它是一個文檔爬蟲和轉換器，能爬取文檔網站并將頁面轉換為單一的Markdown文檔。與之類似的還有更早的SingleFile[5]，對LLM和日常工作都有很大幫助。

參考資料

[1]repo2txt: https://github.com/abinthomasonline/repo2txt

[2]repo2txt.simplebasedomain.com: https://repo2txt.simplebasedomain.com/

[3]files-to-prompt: https://github.com/simonw/files-to-prompt

[4]code2prompt: https://github.com/mufeedvh/code2prompt

[5]SingleFile: https://github.com/gildas-lormeau/SingleFile

本文轉載自 ??AI工程化??，作者： ully