“ 大模型犯錯是常態(tài)，而在大模型應(yīng)用中，我們需要做的是處理好這些錯誤，把模型的錯誤影響降到最低。”

做了一段時間的大模型應(yīng)用之后發(fā)現(xiàn)一個非常有趣的問題，那就是為什么會有那么多大模型應(yīng)用的范式，包括思維鏈(CoT)，思考-行動(ReAct)，反思(Reflection)等。

其實最本質(zhì)的原因就是大模型經(jīng)常犯錯，特別是在復(fù)雜場景下的復(fù)雜問題；就類似于我們?nèi)祟愄幚韽?fù)雜問題一樣，很少有人能夠在不犯錯的前提下，一次性解決一個復(fù)雜問題，特別是在個人能力參差不齊的情況下。

經(jīng)常犯錯的大模型

我們知道大模型是一個基于概率進(jìn)行預(yù)測結(jié)果的系統(tǒng)，因此它有一個非常致命的問題，那就是幻覺問題；但其在某些情況下，能夠很好的取代人類，提升效率。

因此，作為一個讓人又愛又恨的技術(shù)和工具，在利用好大模型優(yōu)勢的前提下，又能把風(fēng)險降到最低，這是作為使用者的我們需要解決的問題。

從使用者的角度來說，提示詞(prompt)是使用大模型的唯一工具，我們可以通過提示詞來約束或引導(dǎo)大模型的輸出，而這可以讓大模型幫我們解決問題。但是因為幻覺等原因的存在，就導(dǎo)致大模型并不能完全穩(wěn)定地輸出正確的答案。

所以，我們就需要一種方式來規(guī)避或者來降低這種風(fēng)險；而這就是大模型應(yīng)用中不同范式存在的意義。

在解決復(fù)雜問題的過程中，我們?nèi)祟惓Ｓ玫姆绞骄褪侨シ治鰡栴}，然后對問題進(jìn)行拆解規(guī)劃；對大模型來說同樣如此，我們需要一種方法讓大模型能夠獨(dú)立完成任務(wù)的拆解和行動，由此形成的方法論就是我們現(xiàn)在常說的ReAct，reflection等。

但是呢，這些方式雖然能夠提升大模型的準(zhǔn)確率，以及對復(fù)雜問題的解決能力，但并不能完全杜絕大模型犯錯；因此，我們就需要在大模型犯錯時進(jìn)行處理，比如說ReAct的觀察者模式observation，就是讓大模型先對自己的處理結(jié)果進(jìn)行分析；然后還有就是重試機(jī)制，讓大模型在犯錯的情況下，能夠根據(jù)當(dāng)前的問題進(jìn)行優(yōu)化，并再次嘗試。

像強(qiáng)化學(xué)習(xí)，反饋學(xué)習(xí)等都是基于這個理念。

因此，我們在做大模型應(yīng)用開發(fā)時，我們首先要明白一個理念——大模型犯錯是必然的，而不是偶然的結(jié)果。

這也是為什么很多時候我們做應(yīng)用時，明明剛開始是好好的，怎么突然之間系統(tǒng)就不能用了，然后過一會可能又好了，就這么時靈時不靈；原因就在于此，由于我們對大模型的錯誤結(jié)果沒有處理好；就間接導(dǎo)致大模型出現(xiàn)錯誤而不自知，最后導(dǎo)致系統(tǒng)崩潰。

本文轉(zhuǎn)載自??AI探索時代?? 作者：DFires