據(jù)許多專家稱，企業(yè)正在迅速部署智能體，但對(duì)自主式智能體準(zhǔn)確性的嚴(yán)重質(zhì)疑，預(yù)示著未來(lái)可能存在潛在災(zāi)難。

智能體面臨的諷刺局面在于，它們需要決策自主性來(lái)提供完整價(jià)值，但許多AI專家仍將它們視為黑箱，其行動(dòng)背后的推理邏輯對(duì)部署企業(yè)來(lái)說(shuō)不可見(jiàn)。他們表示，決策透明度的缺乏，為將智能體作為推動(dòng)重大效率提升的自主工具進(jìn)行全面部署，設(shè)置了潛在的障礙。

然而，許多AI從業(yè)者表達(dá)的信任方面的擔(dān)憂，似乎并未傳達(dá)給潛在用戶，因?yàn)樵S多企業(yè)已經(jīng)搭上了炒作智能體的列車。

軟件市場(chǎng)平臺(tái)G2于10月發(fā)布的一項(xiàng)調(diào)查顯示，約57%的B2B企業(yè)已將智能體投入生產(chǎn)，幾家IT分析公司預(yù)計(jì)，未來(lái)幾年智能體市場(chǎng)將出現(xiàn)巨大增長(zhǎng)。例如，Grand View Research預(yù)測(cè)，2025年至2030年間的復(fù)合年增長(zhǎng)率將接近46%。

AI專家指出，許多使用自主式智能體的客戶企業(yè)尚未意識(shí)到，如果沒(méi)有適當(dāng)?shù)谋Ｕ洗胧悄荏w可能有多么不透明，而且，即使推出了保障措施，目前的大多數(shù)工具仍不足以阻止智能體的不當(dāng)行為。

誤解與誤用

智能體構(gòu)建平臺(tái)Writer的產(chǎn)品管理總監(jiān)Matan-Paul Shetrit表示，對(duì)智能體角色和功能的廣泛誤解可能會(huì)阻礙該技術(shù)的發(fā)展。許多企業(yè)將智能體視為類似于簡(jiǎn)單的API調(diào)用，輸出結(jié)果可預(yù)測(cè)，而實(shí)際上用戶應(yīng)將它們更多地視為初級(jí)實(shí)習(xí)生，他說(shuō)道。

“和初級(jí)實(shí)習(xí)生一樣，它們需要一定的保障措施，而API則相對(duì)容易控制，”Shetrit補(bǔ)充道，“控制實(shí)習(xí)生實(shí)際上要困難得多，因?yàn)樗麄兛赡軙?huì)在知情或不知情的情況下造成損害，還可能訪問(wèn)或引用不應(yīng)獲取的信息。他們可能會(huì)聽(tīng)到Glenda與我們CIO的談話，并聽(tīng)到一些專有信息。”

他表示，智能體開(kāi)發(fā)者和用戶企業(yè)面臨的挑戰(zhàn)將是管理所有這些可能被部署的智能體。

“你很容易想象，一個(gè)擁有1000人的企業(yè)部署了10000個(gè)智能體，”Shetrit認(rèn)為，“他們不再是一個(gè)擁有1000人的企業(yè)，而是一個(gè)擁有11000個(gè)‘人’的企業(yè)，而這樣的企業(yè)管理起來(lái)截然不同。”

Shetrit推測(cè)，對(duì)于像銀行這樣的巨頭企業(yè)來(lái)說(shuō)，智能體數(shù)量最終可能會(huì)達(dá)到500000個(gè)——這種情況將需要全新的企業(yè)資源管理、IT可觀測(cè)性和監(jiān)督方法。

“這需要重新思考你的整個(gè)企業(yè)結(jié)構(gòu)和業(yè)務(wù)運(yùn)作方式，”他說(shuō)道，“在我們這個(gè)行業(yè)解決這個(gè)問(wèn)題之前，我不相信智能體技術(shù)會(huì)得到廣泛普及，并以實(shí)現(xiàn)智能體承諾的方式被采用。”

廣告技術(shù)提供商Zefr的首席AI官Jon Morra補(bǔ)充道，許多部署智能體的企業(yè)尚未意識(shí)到存在一個(gè)需要解決的問(wèn)題。

“人們并不清楚智能體存在多少信任問(wèn)題，”Morra說(shuō)道，“智能體的概念對(duì)人們來(lái)說(shuō)仍然相對(duì)陌生，很多時(shí)候它們是‘無(wú)的放矢’的解決方案。”

Morra認(rèn)為，在許多情況下，可以部署更簡(jiǎn)單、更具確定性的技術(shù)來(lái)替代智能體。他表示，許多部署驅(qū)動(dòng)智能體的大型語(yǔ)言模型(LLM)的企業(yè)，似乎仍然缺乏對(duì)風(fēng)險(xiǎn)的基本認(rèn)識(shí)。

“人們現(xiàn)在對(duì)智能體過(guò)于信任，而這正在讓他們自食其果，”他說(shuō)道，“我參加過(guò)很多會(huì)議，使用LLM的人會(huì)說(shuō)，‘Jon，你有沒(méi)有注意到它們會(huì)算錯(cuò)數(shù)學(xué)題，或者有時(shí)會(huì)編造統(tǒng)計(jì)數(shù)據(jù)?’而我會(huì)說(shuō)，‘是的，這種情況會(huì)發(fā)生。’”

雖然許多AI專家認(rèn)為，隨著AI模型的改進(jìn)，對(duì)智能體的信任度會(huì)長(zhǎng)期提升，但Morra認(rèn)為，由于AI總是存在產(chǎn)生幻覺(jué)的潛在可能，因此永遠(yuǎn)無(wú)法獲得完全的信任。

自主性不信任導(dǎo)致的工作流程摩擦

盡管Morra和Shetrit認(rèn)為AI用戶并不了解智能體透明度問(wèn)題，但G2的10月研究報(bào)告指出，人們對(duì)智能體執(zhí)行某些任務(wù)(如自動(dòng)屏蔽可疑IP或回滾失敗的軟件部署)的信任度正在提高，不過(guò)63%的受訪者表示，他們的智能體需要比預(yù)期更多的人工監(jiān)督。不到一半的受訪者表示，總體而言，他們信任智能體在有保障措施的情況下做出自主決策，只有8%的人對(duì)給予智能體完全自主權(quán)感到放心。

G2的首席創(chuàng)新官Tim Sanders對(duì)此持不同意見(jiàn)：他認(rèn)為，對(duì)智能體缺乏信任更多的是一個(gè)問(wèn)題，而非技術(shù)缺乏透明度。他表示，雖然對(duì)新技術(shù)的不信任是人之常情，但智能體的承諾在于它們能夠在無(wú)需人工干預(yù)的情況下行動(dòng)。

他指出，調(diào)查顯示近一半的B2B企業(yè)都在購(gòu)買智能體，但卻未賦予它們真正的自主權(quán)。“這意味著人類必須對(duì)每一項(xiàng)行動(dòng)進(jìn)行評(píng)估和批準(zhǔn)，”Sanders說(shuō)道，“而這似乎違背了采用智能體以提高效率、生產(chǎn)力和速度的初衷。”

他主張，這種信任差距可能會(huì)讓對(duì)智能體過(guò)于謹(jǐn)慎的企業(yè)付出高昂代價(jià)。“由于在智能體工作流程中設(shè)置了過(guò)多的人工環(huán)節(jié)，造成了瓶頸，他們將錯(cuò)失數(shù)十億美元的成本節(jié)約機(jī)會(huì)，”Sanders解釋道，“信任來(lái)之不易，卻極易失去，然而，智能體在經(jīng)濟(jì)和運(yùn)營(yíng)方面的潛力，實(shí)際上正在推動(dòng)有增長(zhǎng)意識(shí)的企業(yè)領(lǐng)導(dǎo)者擴(kuò)展信任，而非退縮。”

謹(jǐn)慎行事

鑒于AI供應(yīng)商仍需解決的透明度問(wèn)題，其他AI專家提醒企業(yè)IT領(lǐng)導(dǎo)者在部署智能體時(shí)要謹(jǐn)慎行事。

開(kāi)曼群島AI數(shù)字化轉(zhuǎn)型工作組負(fù)責(zé)人Tamsin Deasey-Weinstein表示，AI在有人參與和嚴(yán)格治理的情況下效果最佳，但許多智能體被過(guò)度營(yíng)銷，且治理不足。

“雖然智能體很神奇，因?yàn)樗鼈儗⑷祟悘牧鞒讨刑蕹@也讓它們變得極其危險(xiǎn)，”Deasey-Weinstein說(shuō)道，“我們?cè)谕其N自主智能體的前景，但實(shí)際上，如果沒(méi)有嚴(yán)格的保障措施，它們就是等待發(fā)生的災(zāi)難。”

為了應(yīng)對(duì)這種透明度的缺乏，她建議限制智能體的范圍。

“最值得信賴的智能體，其能力范圍狹窄得令人乏味，”Deasey-Weinstein說(shuō)道，“智能體的范圍越廣、自由度越高，輸出結(jié)果出錯(cuò)的可能性就越大。最值得信賴的智能體，其工作范圍小、定義明確，且保障措施非常嚴(yán)格。”

然而，她也承認(rèn)，部署高度針對(duì)性的智能體可能對(duì)某些用戶來(lái)說(shuō)缺乏吸引力。“這對(duì)于那些永遠(yuǎn)要求更高、希望用更少的時(shí)間和技能完成更多工作的消費(fèi)者來(lái)說(shuō)，既不可銷售也不具吸引力，”她說(shuō)道，“只是要記住，如果你的AI智能體可以在無(wú)人參與的情況下編寫每一封郵件、處理每一份文檔、調(diào)用每一個(gè)API，那你就擁有了一個(gè)你無(wú)法控制的東西，選擇權(quán)在你。”

許多AI專家還認(rèn)為，自主智能體最適合用于做出低風(fēng)險(xiǎn)決策。“如果一項(xiàng)決策影響到某人的自由、健康、教育、收入或未來(lái)，那么AI應(yīng)該只起到輔助作用，”Deasey-Weinstein說(shuō)道，“每一項(xiàng)行動(dòng)都必須可解釋，而AI卻并非如此。”

她建議采用經(jīng)合企業(yè)AI原則和美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院AI風(fēng)險(xiǎn)管理框架等框架，作為幫助企業(yè)理解AI風(fēng)險(xiǎn)的指南。

觀察與協(xié)調(diào)

其他AI從業(yè)者指出，新興的AI可觀測(cè)性實(shí)踐可作為解決智能體不當(dāng)行為的一種方案，盡管也有人表示，僅憑可觀測(cè)性工具可能無(wú)法診斷智能體的潛在問(wèn)題。

AI協(xié)調(diào)供應(yīng)商Kamiwaza AI的現(xiàn)場(chǎng)首席技術(shù)官James Urquhart表示，使用智能體的企業(yè)可以部署一個(gè)協(xié)調(diào)層，來(lái)管理生命周期、上下文共享、身份驗(yàn)證和可觀測(cè)性。

和Deasey-Weinstein一樣，Urquhart也主張智能體應(yīng)扮演有限角色，他將協(xié)調(diào)比作裁判，可以監(jiān)督一組專業(yè)智能體。“不要使用一個(gè)‘無(wú)所不能’的智能體，”他說(shuō)道，“將智能體視為一個(gè)維修團(tuán)隊(duì)，而非一把瑞士軍刀。”

他表示，AI存在信任問(wèn)題，但這是一個(gè)架構(gòu)問(wèn)題。

“如今，大多數(shù)企業(yè)都可以建立一個(gè)智能體，但很少有企業(yè)能夠解釋、約束和協(xié)調(diào)一群智能體，”他補(bǔ)充道，“如果企業(yè)沒(méi)有實(shí)現(xiàn)規(guī)模、安全和治理的控制平面，那么它們只會(huì)制造更多的混亂。”