什么是上下文工程？

為什么大家都在談論它？

今天我們來了解一下！

上下文工程正在迅速成為 AI 大模型應用新架構師/工程師的一項關鍵技能。它不再僅僅是巧妙地提示詞，而是關于系統(tǒng)性地組織上下文。

目前存在的問題是：

大多數(shù) AI 智能體（或大語言模型應用）之所以失敗，并不是因為大模型本身不好，而是因為它們?nèi)狈Τ晒λ璧恼_上下文。

例如，一個典型的檢索增強生成（RAG）工作流程通常是80%的檢索和20%的生成。

所以：

好的檢索即使搭配較弱的大語言模型也能奏效。

但糟糕的檢索即使搭配最好的大語言模型也毫無用處。

如果你的 RAG 工作流程運行不暢，很可能是因為上下文檢索出了問題。

同樣地，大語言模型也不是心靈感應者。它們只能根據(jù)你提供的內(nèi)容來工作。

上下文工程涉及創(chuàng)建動態(tài)系統(tǒng)，提供以下內(nèi)容：

• 正確的信息
• 正確的工具
• 以正確的格式呈現(xiàn)

這能確保大語言模型能夠高效地完成任務。

但為什么傳統(tǒng)的提示詞工程就不夠用了呢？

提示詞工程主要關注“魔法詞匯”，期望通過巧妙的措辭獲得更好的回應。

然而，隨著 AI 應用變得越來越復雜，完整且結構化的上下文比巧妙的措辭重要得多。

上下文工程系統(tǒng)的4個關鍵組成部分是：

• 動態(tài)信息流：上下文來自多個來源，包括用戶、之前的互動、外部數(shù)據(jù)以及工具調(diào)用。你的系統(tǒng)需要智能地將它們整合在一起。
• 智能工具訪問：如果 AI 需要外部信息或操作，就給它合適的工具。將輸出格式化，使其盡可能易于理解。
• 內(nèi)存管理：

     a.短期：總結長對話

     b.長期：跨會話記住用戶偏好

• 格式優(yōu)化：簡單明了的錯誤提示，總是比一大堆復雜的代碼（比如：JSON 格式的長串內(nèi)容）更容易讓人看懂。

一句話總結

別再死磕“提示詞魔法”了--現(xiàn)在決定 AI 能不能干好活的，是你能不能把“該給它的背景、工具、格式”一次性喂對。這門新手藝就叫“上下文工程”。

三句話展開

1. 問題：多數(shù) AI 表現(xiàn)差，不是因為模型笨，而是缺關鍵背景、工具或格式不對。
2. 解法：搭一個動態(tài)系統(tǒng)，自動把各種來源的信息、外部工具、用戶偏好整合好，再按 LLM 最容易理解的格式送進去。
3. 工具：LangGraph 讓你“想塞什么就塞什么”到 LLM；LangSmith 把全過程錄下來，幫你檢查到底缺了哪塊上下文。

總之，

上下文工程正在成為 AI 大模型應用新架構師的一項新的核心技能，因為它解決了真正的瓶頸問題，這個瓶頸不是大模型的能力，而是信息架構的搭建。

隨著大模型性能的提升，上下文質(zhì)量將成為主要的限制因素。

本文轉(zhuǎn)載自??玄姐聊AGI??  作者：玄姐