大模型提示詞進(jìn)階，零樣本提示, 一次樣本提示和少樣本提示以及思維鏈(Chain of Thought, Cot) 原創(chuàng)

AI探索時(shí)代

發(fā)布于 2024-9-4 14:02

瀏覽

0收藏

“ 技術(shù)的核心只有兩點(diǎn)，一個(gè)是把技術(shù)做好，一個(gè)是把技術(shù)用好 ”

在之前的文章中曾經(jīng)說過，預(yù)訓(xùn)練和微調(diào)是為了打造一個(gè)更好用的大模型，而提示學(xué)習(xí)是為了更好的使用大模型，激發(fā)大模型的潛能。

而基于提示學(xué)習(xí)發(fā)展起來的提示詞工程，也就是怎么寫一個(gè)更好的提示詞；網(wǎng)絡(luò)上已經(jīng)有很多經(jīng)過檢驗(yàn)的提示詞框架，比如APE，BROKE等。

提示詞工程是一門基于經(jīng)驗(yàn)的科學(xué)，因此沒有最好的提示詞框架，只有不同任務(wù)下最合適的提示詞框架。

而經(jīng)過研究發(fā)現(xiàn)了提示詞更加高級(jí)的玩法——樣本提示和思維鏈。

樣本提示

樣本提示包括Zero-Shot,One-Shot,Few-Shot等多種形式，簡單來說就是在提示詞中加入一些例子。

比如

“whatpu” 是一種生長在坦桑尼亞的小型毛茸茸的動(dòng)物。使用 whatpu 這個(gè)詞的一個(gè)例子是：
我們?cè)诜侵蘼眯校吹搅诉@些非常可愛的 whatpu。  --舉例
“farduddle” 的意思是快速跳躍。使用 farduddle 這個(gè)詞的一個(gè)例子是：

大模型提示詞進(jìn)階，零樣本提示, 一次樣本提示和少樣本提示以及思維鏈(Chain of Thought, Cot)-AI.x社區(qū)

這就是一個(gè)少樣本提示的例子，上部分是例子，淺綠色部分就是大模型的回答。

根據(jù)不同的大模型和任務(wù)類型，可以適當(dāng)?shù)慕o出一個(gè)到多個(gè)例子，而我們平常直接問大模型的問題屬于零樣本提示，也就是不給出案例，直接讓大模型回答。

因此樣本提示就類似于我們?nèi)祟惼匠Ｓ懻搯栴}，可能對(duì)方對(duì)你的問題不是很了解，這時(shí)我們下意識(shí)的反應(yīng)就是，我給你舉個(gè)例子。

這就是樣本提示的作用，在使用樣本提示的過程中，可以適當(dāng)?shù)脑黾佣鄠€(gè)樣本，F(xiàn)ew-Shot中的few就是大于等于1的意思。

以下就是一個(gè)給出三個(gè)例子的少樣本提示：

大模型提示詞進(jìn)階，零樣本提示, 一次樣本提示和少樣本提示以及思維鏈(Chain of Thought, Cot)-AI.x社區(qū)

思維鏈

思維鏈?zhǔn)菫榱私鉀Q復(fù)雜問題而推出的一種方式，就是在提示詞中加入思考過程。

舉例如下：

這個(gè)是沒用思維鏈的方式

問：小明有三個(gè)蘋果，他的媽媽又給他買了兩個(gè)蘋果，小明吃掉了一個(gè)，小明還剩幾個(gè)蘋果？

答：4個(gè)

這個(gè)是使用思維鏈的方式

問：小明有三個(gè)蘋果，他的媽媽又給他買了兩個(gè)蘋果，小明吃掉了一個(gè)，還剩幾個(gè)蘋果？

答：小明起初有三個(gè)蘋果，他的媽媽又買了兩個(gè)，之后又吃掉一個(gè)，因此3 + 2 - 1 = 4，所以小明有四個(gè)蘋果。

問：小麗有三個(gè)網(wǎng)球，她又購買了兩罐網(wǎng)球，每罐三個(gè)，這時(shí)小麗有幾個(gè)網(wǎng)球？

在某些大模型中，如果不使用思維鏈的方式，關(guān)于小麗的問題，可能就會(huì)回答錯(cuò)誤，而使用了思維鏈可以提升大模型回答的準(zhǔn)確率，當(dāng)然也不能完全避免回答錯(cuò)誤的情況。

這里只是舉個(gè)簡單的例子，如果我們?cè)趫?zhí)行更加復(fù)雜的任務(wù)時(shí)，使用思維鏈可以大大提升大模型的輸出質(zhì)量。特別是在Agent中，Agent利用思維鏈來優(yōu)化大模型的推理規(guī)劃能力和過程，這樣就可以讓Agent完成更加復(fù)雜的任務(wù)。