OpenAI親授ChatGPT「屠龍術(shù)」！官方提示工程指南來啦

作者：新智元 2024-01-02 14:06:00

OpenAI最近官方放出了自己的提示工程指南，從大模型小白到開發(fā)者，都可以從中消化出不少營養(yǎng)。看看全世界最懂大模型的人，是怎么寫提示詞的。

應(yīng)該如何形容 Prompt 工程呢？對于一個(gè)最開始使用 ChatGPT 的新人小白，面對據(jù)說參數(shù)量千億萬億的龐然巨獸，Prompt 神秘的似乎像某種獻(xiàn)祭：我扔進(jìn)去幾句話，等待聊天窗口后的「智慧生命」給我以神諭。

然而，上手 Prompt 之后，操縱 ChatGPT 似乎更加類似于指揮家指揮管弦樂隊(duì)，面對我們要解決的問題，合理的編排與組織文字，最后演化成類似指揮家的身體語言，控制大模型這樣一個(gè)「精密儀器」執(zhí)行復(fù)雜任務(wù)。

那么如何快速上手 Prompt 工程將 ChatGPT 不再視為難以操縱的龐然大物而是得心應(yīng)手的趁手兵刃呢？

就在近日，OpenAI 官方發(fā)布了 Prompt 工程指南，講述了快速上手 ChatGPT Prompt 的種種「屠龍術(shù)」，不僅在理論層面對 Prompt 分類總結(jié)，還提供了實(shí)際的 Prompt 用例，幫助大家來學(xué)習(xí)如何有效的與 ChatGPT 交互，一起來看看吧！

宏觀來看，OpenAI 給出了可以提升 ChatGPT 回復(fù)效果的「六大秘籍」，分別是：

清晰細(xì)致
提供參考
任務(wù)拆分
讓它思考
外部工具
系統(tǒng)測試

清晰細(xì)致

讓我們先來看第一條策略：清晰細(xì)致。

如果說的大白話一點(diǎn)，就是要把你需要解決的問題說清楚講明白。要想從 ChatGPT 那里獲得良好的回復(fù)，那么 Prompt 本身必須結(jié)合精確性、清晰度與任務(wù)描述的細(xì)致程度于一身，為了避免歧義而「把話說清楚」是讓 ChatGPT 高效工作的重中之重。

舉個(gè)例子，假設(shè)我們想了解「2021年的時(shí)候誰是墨西哥的總統(tǒng)」，甚至更進(jìn)一步還想知道他/她是否目前仍然是總統(tǒng)，如果我們?nèi)咏o ChatGPT 一句「誰是總統(tǒng)？」，別說 ChatGPT，就算是政治老師也會(huì)一臉懵逼，更好的 Prompt 應(yīng)該是：「2021年誰是墨西哥的總統(tǒng)，墨西哥幾年舉行一次選舉？」

如果說上面的例子有點(diǎn)極端，那么再看一個(gè)更加日常的例子。假設(shè)我們要去進(jìn)行一個(gè)會(huì)議總結(jié)，如果我們期望 ChatGPT 可以給到我們良好的回復(fù)，那么我們就不應(yīng)該直接扔進(jìn)去一句話：「幫我總結(jié)這份會(huì)議筆記」，而是要將我們的需求講明白：「首先使用簡單一段總結(jié)概括這份會(huì)議筆記的主要內(nèi)容，其次將會(huì)議中各個(gè)發(fā)言者的核心點(diǎn)以Markdown的格式分條列出，最后，如果有的話，列出每個(gè)發(fā)言者提出的下一步行動(dòng)計(jì)劃與方案。」

顯然，后者的描述更為清晰，更有可能得到我們想要的答案。OpenAI 在指南中列出了一個(gè) Worse or Better 的示例供大家參考：

同時(shí),OpenAI 給出了一個(gè) Prompt 想要做到表達(dá)清晰細(xì)致應(yīng)該需要包含的內(nèi)容：

關(guān)于任務(wù)需求的詳細(xì)信息
要求模型扮演的角色
使用分隔符清晰的區(qū)分輸入的不同部分
指定完成任務(wù)所需的步驟
提供示例
指定所需的輸出長度

以上述的會(huì)議總結(jié)為例，一個(gè)更加完整的 Prompt 可能是：

指令：假設(shè)你是一場會(huì)議的會(huì)議秘書【指定角色】，首先【任務(wù)拆分】使用簡單一段總結(jié)概括這份會(huì)議筆記的主要內(nèi)容，其次將會(huì)議中各個(gè)發(fā)言者的核心點(diǎn)以 Markdown 的格式分 3 條【指定長度】列出，最后，如果有的話，列出每個(gè)發(fā)言者提出的下一步行動(dòng)計(jì)劃與方案【詳細(xì)信息】。請以將總結(jié)插入到下方模板的<>中間。

模板【使用分隔符】：總結(jié):發(fā)言人 1 核心觀點(diǎn):發(fā)言人 2 核心觀點(diǎn):…… 發(fā)言人 1 行動(dòng)計(jì)劃:發(fā)言人 2 行動(dòng)計(jì)劃:……

示例【提供示例】：……

提供參考

第二點(diǎn)重要的策略是需要為 ChatGPT 提供參考，通過引導(dǎo) ChatGPT 根據(jù)我們給定的材料撰寫答案，將會(huì)使得模型回答更加聚焦于當(dāng)前的問題之上，從而生成更加可靠與準(zhǔn)確的答案。

譬如，如果我們直接詢問模型「知識產(chǎn)權(quán)盜竊的法律后果是什么？」，那么模型可能無法專業(yè)準(zhǔn)確的對問題進(jìn)行回復(fù)，而如果我們給模型提供一篇關(guān)于知識產(chǎn)權(quán)法的論文或發(fā)條，模型就會(huì)給出更加專業(yè)的回復(fù)。

指令：參考提供的法律期刊文章與法條，解釋知識產(chǎn)權(quán)盜竊的法律后果。參考：【知識產(chǎn)權(quán)盜竊的法律規(guī)范xxx】

而為了使得模型更好的理解參考文本并且直接引用參考中的原文進(jìn)行回復(fù)，那么就可以對參考引用做出更加細(xì)致的解釋，譬如：

指令：參考下面這份由三個(gè)引號進(jìn)行分隔的文件，請回答知識產(chǎn)權(quán)盜竊的法律后果是什么。請僅僅引用所提供的文件來回答問題，并且引用用于回答問題的相關(guān)段落，如果文件中不包含回答問題所需的信息，則需要寫出「信息不足」。如果找到了相關(guān)答案，則必須注明引文，請使用以下格式引用相關(guān)段落（{“引用”：……}）。參考：【知識產(chǎn)權(quán)盜竊的法律規(guī)范xxx】

任務(wù)拆分

受啟發(fā)來自軟件工程中將復(fù)雜系統(tǒng)分解為一組模塊的組件的思想，任務(wù)拆分也是提示 Prompt 性能的法寶之一，復(fù)雜任務(wù)可以被拆分為簡單任務(wù)的累加，通過解決一系列簡單任務(wù)就可以得到逼近復(fù)雜任務(wù)滿意解的方案。

舉一個(gè)長文檔摘要的例子，對于一個(gè)過長的文本，比如直接讓 ChatGPT 理解一本 300 頁的書籍可能 ChatGPT 無法做到，但是通過任務(wù)分解——遞歸的分別總結(jié)書籍中的每一章，在每一章的總結(jié)之上對書籍內(nèi)容進(jìn)行摘要——就有可能實(shí)現(xiàn)對難任務(wù)的解決。

具體而言，任務(wù)分解的也需要做到：

對不同的查詢?nèi)蝿?wù)進(jìn)行分類
對長對話進(jìn)行總結(jié)與過濾
分段總結(jié)長文檔并遞歸構(gòu)建摘要

而這樣做，可以：

通過專注于復(fù)雜任務(wù)的特定方面以提升準(zhǔn)確率
分解任務(wù)使得子任務(wù)更加便于管理，可以降低錯(cuò)誤率與輸出不相關(guān)內(nèi)容的概率
用戶收到有針對性的分步指導(dǎo)有可能提升用戶體驗(yàn)
子任務(wù)劃分也有可能帶來成本效益

讓它思考

有一個(gè)有意思的點(diǎn)在于，從「Let's think step by step」的實(shí)踐中我們可以發(fā)現(xiàn)，讓模型一步一步的思考而不是直接給出答案可以顯著的提升任務(wù)的準(zhǔn)確率。

以思維鏈技術(shù) COT 的代表應(yīng)用數(shù)學(xué)解題為例，有如下的題目：

土地租用成本為 100 美元/平方英尺，太陽能電池板購買成本為 250 美元/平方英尺，固定投入成本為 10 萬美元，每年的運(yùn)營成本為 10 美元/平方英尺，假設(shè)購買 x 平方英尺的太陽能電池板，請問一年的總成本為多少？

對此，現(xiàn)在,有個(gè)學(xué)生給出的解題步驟為(1)土地成本100x，(2)電池板購買成本250x，(3)運(yùn)營成本10x，(4)固定投入100000，則總成本為 100x + 250x + 100x + 100000 = 450x + 100000。

顯然這名學(xué)生將運(yùn)營成本的 10x 錯(cuò)寫為了 100x，但是如果直接將學(xué)生答案輸入模型，詢問「學(xué)生的解決方案是否正確?」時(shí)，模型卻會(huì)錯(cuò)誤認(rèn)為該解法正確:

但是如果「讓模型進(jìn)行思考」，告訴模型首先由模型自己確定一個(gè)解決方案，再將自己的解法與學(xué)生的解法進(jìn)行比較，評估學(xué)生的解法是否正確。在自己完成問題之前，不要確定學(xué)生的解法是否正確。

而如果這樣輸入，模型不僅可以提供正確解法還可以很快發(fā)現(xiàn)學(xué)生的錯(cuò)誤之處:

外部工具

從 AI Agent 的思路出發(fā)，語言模型必然不是萬能的，但是就如同人類一樣，我們可以通過向模型提供其他工具的方式來彌補(bǔ)模型的弱點(diǎn)，其中最經(jīng)典的應(yīng)用莫過于大模型與代碼執(zhí)行引擎的結(jié)合。

所謂讓專業(yè)的人去做專業(yè)的事，直接從自己學(xué)習(xí)與訓(xùn)練的語料中感知到今天的天氣如何可能對大模型而言是無法做到的，但是現(xiàn)在有太多方便調(diào)用的天氣 API 可以很快的幫助模型查詢到今天的天氣，從而使得模型提升自己的能力。

其中典型的應(yīng)用有:

精確求解問題:如果直接問模型一個(gè)加減乘除平方開根號，涉及精確值的問題大模型往往并不擅長，譬如計(jì)算 529 的平方根，模型一開始的輸出是不確定的不精確的，但是如果更改 Prompt 讓模型「編寫并執(zhí)行 Python 代碼來計(jì)算此值」，則會(huì)得到更加有據(jù)可依的答案
專用功能問題:如果直接讓模型「向我的朋友發(fā)送關(guān)于我們明天見面的提醒」，那么模型估計(jì)愛莫能助。但是如果讓模型使用 Python 調(diào)用消息 API 發(fā)送消息，那么模型就可以很好的完成消息傳遞這一需求

系統(tǒng)測試

要想真正測試到「好的 Prompt」，那么必然要在一個(gè)全面系統(tǒng)的環(huán)境下對 Prompt 進(jìn)行評估與檢驗(yàn)。很多場景下在一個(gè)孤立的實(shí)例中一個(gè) Prompt 的效果良好并不能代表這個(gè) Prompt 可以推而廣之，因此對 Prompt 的系統(tǒng)測試也是提升 Prompt 能力的關(guān)鍵環(huán)節(jié)之一。

其中，一種方法是假設(shè)我們已經(jīng)知道了正確答案應(yīng)當(dāng)包含的某個(gè)已知事實(shí)，那么就可以使用模型來查詢輸出中包含多少必要的事實(shí)。比如我們假設(shè)存在一個(gè)事實(shí)「阿姆斯特朗是第一個(gè)登上月球的人」，則可以向模型輸入:

以下有三組以引號進(jìn)行分隔的文本，該文本的正確答案是：尼爾·阿姆斯特朗是第一個(gè)登上月球的人，請檢查答案是否直接包含上述信息，對于每組文本，請首先理解文本，提供最接近正確的答案的引文，考慮在不清楚相關(guān)主題的人是否可以直接從該文本推斷出正確答案。

此外,還可以借助「矛盾推斷」，「細(xì)節(jié)補(bǔ)充」等等方式對輸出答案進(jìn)行評估,以確定更好的 Prompt 格式。

總結(jié)

毫無疑問，Prompt 的質(zhì)量顯著影響著大模型的性能,而好的 Prompt 有甚至不僅僅是一種技術(shù)更是一種「藝術(shù)」。作為「人」與「AI」互動(dòng)的窗口，Prompt 很有可能是未來 AI 時(shí)代我們必須掌握的「第二語言」，而這份 OpenAI 官方的指南就非常類似一本小學(xué)英語入門教科書，感興趣的大家可以去查閱原文瀏覽更加詳細(xì)的例子。

鏈接: https://platform.openai.com/docs/guides/prompt-engineering/six-strategies-for-getting-better-results

除了指南以外，OpenAI 還提供了更加即插即用的各個(gè)場景下的優(yōu)秀 Prompt 范例。