如今，GenAI在客戶(hù)服務(wù)領(lǐng)域無(wú)處不在，它驅(qū)動(dòng)著聊天機(jī)器人、虛擬助手、智能幫助中心，甚至還能為客服人員起草電子郵件，在大多數(shù)情況下，它的表現(xiàn)都很出色。

然而，有一個(gè)重大問(wèn)題卻常常被忽視——AI幻覺(jué)。

當(dāng)AI生成的答案看似合理，但實(shí)則與事實(shí)不符或完全是憑空捏造時(shí)，就會(huì)產(chǎn)生幻覺(jué)，在實(shí)時(shí)客服對(duì)話中，這些幻覺(jué)會(huì)引發(fā)嚴(yán)重問(wèn)題，錯(cuò)誤的答案會(huì)削弱客戶(hù)信任、損害品牌信譽(yù)，還會(huì)給整個(gè)客服團(tuán)隊(duì)帶來(lái)額外的工作負(fù)擔(dān)。

過(guò)去一年，隨著GenAI成為模型開(kāi)發(fā)的核心，我頻繁遇到這類(lèi)幻覺(jué)問(wèn)題。我想分享一下我的觀察結(jié)果，解釋為什么常規(guī)的安全檢查并不總能發(fā)現(xiàn)這些問(wèn)題，以及客戶(hù)體驗(yàn)負(fù)責(zé)人可以采取哪些措施來(lái)降低此類(lèi)風(fēng)險(xiǎn)。

AI幻覺(jué)在客戶(hù)服務(wù)中可能引發(fā)的嚴(yán)重后果

客戶(hù)服務(wù)工作充滿(mǎn)變數(shù)。我在支持場(chǎng)景中使用AI已有較長(zhǎng)時(shí)間，深知這些工具需要實(shí)時(shí)處理棘手、情緒化且緊急的對(duì)話。在這種情況下，如果AI編造信息，那就不僅僅是出現(xiàn)故障那么簡(jiǎn)單了，它可能會(huì)觸犯法律、引發(fā)安全問(wèn)題，或讓客戶(hù)感到沮喪。

麥肯錫2025年的一份報(bào)告發(fā)現(xiàn)，50%的美國(guó)員工認(rèn)為不準(zhǔn)確(包括幻覺(jué)問(wèn)題)是GenAI面臨的最大風(fēng)險(xiǎn)，這種擔(dān)憂不無(wú)道理，在一起法律案件中，一位聯(lián)邦法官發(fā)現(xiàn)，一款GenAI工具編造了引用內(nèi)容，導(dǎo)致涉案律師受到制裁。

在客戶(hù)服務(wù)領(lǐng)域，也有類(lèi)似案例，一位開(kāi)發(fā)者在使用Cursor的AI客服聊天機(jī)器人時(shí)發(fā)現(xiàn)，該系統(tǒng)編造了一項(xiàng)訂閱政策，限制每個(gè)賬戶(hù)的設(shè)備數(shù)量，而這項(xiàng)政策實(shí)際上并不存在，這引發(fā)了用戶(hù)的不滿(mǎn)和公眾的強(qiáng)烈反對(duì)。

在我開(kāi)展第一個(gè)GenAI項(xiàng)目——構(gòu)建AI電子郵件起草工具時(shí)，也遇到了同樣的問(wèn)題，偶爾，AI會(huì)自信地提出一些看似合理，但實(shí)際上在我們官方知識(shí)庫(kù)中并不存在的解決方案或政策，這迫使我們?cè)趯⒃摴ぞ卟渴鸬矫嫦蚩蛻?hù)的應(yīng)用程序之前，重新設(shè)計(jì)流程和保障措施，以應(yīng)對(duì)幻覺(jué)風(fēng)險(xiǎn)。

為什么AI幻覺(jué)問(wèn)題會(huì)頻繁出現(xiàn)?

客戶(hù)服務(wù)AI出現(xiàn)幻覺(jué)的根本原因

行業(yè)專(zhuān)家認(rèn)為，AI幻覺(jué)問(wèn)題通常由以下幾個(gè)常見(jiàn)原因引起：

訓(xùn)練數(shù)據(jù)問(wèn)題

? 數(shù)據(jù)不足或質(zhì)量低下：AI模型通過(guò)大量數(shù)據(jù)集進(jìn)行學(xué)習(xí)，如果數(shù)據(jù)有限、存在偏差或不完整，模型就會(huì)生成不可靠的回復(fù)，谷歌云指出，訓(xùn)練數(shù)據(jù)質(zhì)量不佳是導(dǎo)致幻覺(jué)問(wèn)題的一個(gè)重要因素。

? 過(guò)度擬合：當(dāng)模型過(guò)于依賴(lài)訓(xùn)練數(shù)據(jù)時(shí)，就難以適應(yīng)新情況，IBM解釋說(shuō)，過(guò)度擬合會(huì)導(dǎo)致模型“記住噪聲”，而非理解模式。

? 數(shù)據(jù)過(guò)時(shí)：如果AI系統(tǒng)從陳舊的知識(shí)庫(kù)中獲取信息，可能會(huì)用錯(cuò)誤的假設(shè)來(lái)填補(bǔ)信息空白。

模型局限性

? 生成式特性：GenAI通過(guò)預(yù)測(cè)序列中的下一個(gè)單詞來(lái)生成內(nèi)容，而不會(huì)主動(dòng)驗(yàn)證事實(shí)。

? 上下文窗口限制：大語(yǔ)言模型(LLM)的上下文窗口有限，可能導(dǎo)致其遺漏對(duì)話細(xì)節(jié)。

? 模型架構(gòu)缺陷：設(shè)計(jì)不佳的AI系統(tǒng)，若存在有缺陷的注意力機(jī)制或假設(shè)，就容易產(chǎn)生幻覺(jué)，Data.world指出，過(guò)于復(fù)雜或配置不當(dāng)?shù)腁I模型可能會(huì)生成不準(zhǔn)確的回復(fù)。

? 數(shù)據(jù)檢索能力弱(在檢索增強(qiáng)生成模型中)：在檢索增強(qiáng)生成模型中，檢索到的信息不完整或不相關(guān)，可能會(huì)產(chǎn)生幻覺(jué)答案。

外部因素

? 對(duì)抗性攻擊：惡意用戶(hù)可以通過(guò)操縱輸入內(nèi)容，故意誘發(fā)AI產(chǎn)生幻覺(jué)。

? 語(yǔ)言微妙性：模糊的表述或俚語(yǔ)常常會(huì)讓AI模型產(chǎn)生誤解。

明智的公司如何應(yīng)對(duì)這一問(wèn)題

好消息是，多家公司正在積極完善其AI安全實(shí)踐：

? 人工反饋循環(huán)：CVS Health在AI偶爾提供可疑的醫(yī)療建議后，增加了人工審核環(huán)節(jié)，這凸顯了在關(guān)鍵場(chǎng)景中保持人工參與的重要性。

? 檢索增強(qiáng)生成(RAG)：DoorDash采用了檢索增強(qiáng)生成技術(shù)，該技術(shù)包含三個(gè)要素——檢索增強(qiáng)生成系統(tǒng)、大語(yǔ)言模型防護(hù)欄和大語(yǔ)言模型評(píng)估器，以確保AI回復(fù)基于經(jīng)過(guò)驗(yàn)證的知識(shí)庫(kù)、設(shè)置防護(hù)措施并持續(xù)監(jiān)控性能，從而提高準(zhǔn)確性。

? 無(wú)縫人工交接：專(zhuān)家強(qiáng)調(diào)，要為AI何時(shí)應(yīng)將對(duì)話轉(zhuǎn)交給人工客服制定明確的操作手冊(cè)，特別是對(duì)于敏感或復(fù)雜的咨詢(xún)。

客戶(hù)體驗(yàn)負(fù)責(zé)人現(xiàn)在應(yīng)關(guān)注哪些方面

如果你負(fù)責(zé)管理客戶(hù)體驗(yàn)，可以考慮采取以下措施來(lái)降低幻覺(jué)風(fēng)險(xiǎn)：

? 優(yōu)先使用高質(zhì)量的實(shí)時(shí)數(shù)據(jù)：使用準(zhǔn)確、最新且與產(chǎn)品和服務(wù)相關(guān)的數(shù)據(jù)來(lái)訓(xùn)練GenAI模型。建立定期更新數(shù)據(jù)的流程，確保AI獲取到最新信息。

? 采用人機(jī)協(xié)同方式：將人工客服納入AI工作流程，對(duì)敏感回復(fù)進(jìn)行審核和批準(zhǔn)。編程設(shè)定AI在置信度低于預(yù)設(shè)閾值時(shí)，將對(duì)話轉(zhuǎn)交給人工處理。

? 明確AI的目標(biāo)和限制：限定AI的回答范圍，明確其可以回答和不應(yīng)嘗試回答的問(wèn)題。

? 進(jìn)行全面測(cè)試和評(píng)估：使用假設(shè)的客戶(hù)場(chǎng)景定期測(cè)試AI系統(tǒng)，并監(jiān)控客戶(hù)滿(mǎn)意度(CSAT)得分和轉(zhuǎn)交率等指標(biāo)。

? 持續(xù)監(jiān)控和迭代：像監(jiān)控服務(wù)中斷或數(shù)據(jù)泄露一樣，跟蹤幻覺(jué)案例。利用這些洞察來(lái)優(yōu)化模型。

? 對(duì)客戶(hù)保持透明：告知用戶(hù)AI的參與情況，并提供便捷的選項(xiàng)，以便他們聯(lián)系人工客服。

AI正迅速成為客戶(hù)體驗(yàn)運(yùn)營(yíng)的核心，雖然幻覺(jué)問(wèn)題看似罕見(jiàn)，但一旦發(fā)生，就可能造成持久損害，負(fù)責(zé)任地處理這一問(wèn)題的公司認(rèn)識(shí)到，AI系統(tǒng)需要持續(xù)監(jiān)督、主動(dòng)防護(hù)措施，以及技術(shù)團(tuán)隊(duì)與人工團(tuán)隊(duì)之間的緊密協(xié)作。

關(guān)鍵在于：AI不應(yīng)被視為“一勞永逸”的解決方案，它需要持續(xù)關(guān)注、調(diào)整，以及一套將棘手案例轉(zhuǎn)交給人工處理的智能流程，這不是弱點(diǎn)，而是優(yōu)秀領(lǐng)導(dǎo)力和智能系統(tǒng)設(shè)計(jì)的體現(xiàn)。