由于AI的快速發展以及對錯失恐懼癥(FOMO)的擔憂，GenAI項目往往采用自上而下的推動方式，企業領導者很容易對這項突破性技術產生過度興奮的情緒，然而，當企業急于構建和部署時，往往會遇到與其他技術實施中出現的所有典型問題。AI復雜且需要專業知識，這意味著一些企業很快就會陷入困境。

事實上，Forrester預測，嘗試內部構建AI助手的企業中，有近四分之三將會失敗。

Forrester分析師Jayesh Chaurasia和Sudha Maheshwari寫道：“挑戰在于這些架構錯綜復雜，需要多個模型、先進的檢索增強生成(RAG)堆棧、高級數據架構和專業知識。”

那么，企業該如何選擇何時采用第三方模型、開源工具或構建定制化的、內部微調的模型呢?專家對此進行了權衡。

AI架構遠比企業想象的復雜

Forrester高級分析師Rowan Curran告訴記者，嘗試自主構建代理的企業通常會在RAG和向量數據庫方面遇到困難。在預期的時間框架內獲得準確輸出可能是一項挑戰，而且企業并不總是理解重新排序的過程或其重要性，重新排序有助于確保模型使用最高質量的數據。

Curran指出，例如，用戶可能會輸入10000份文檔，而模型可能會返回與當前任務最相關的100份文檔，但是，較短的上下文窗口限制了可以輸入以進行重新排序的內容。因此，例如，人類用戶可能需要進行判斷并選擇10份文檔，從而降低模型的準確性。

Curran指出，RAG系統的構建和優化可能需要6到8周的時間。例如，在進行任何調整之前，第一次迭代的準確率可能為55%，第二次發布可能達到70%，而最終部署的準確率理想情況下將接近100%。

開發人員需要了解數據的可用性(和質量)以及如何對模型進行重新排序、迭代、評估和落地(即將模型輸出與相關、可驗證的來源進行匹配)。此外，調高或調低“溫度”決定了模型的創造力——但一些企業在創造力方面“非常嚴格”，從而限制了發展，Curran表示。

“人們一直認為這些東西有個簡單的按鈕，”他指出，“但實際上并沒有。”

Curran表示，構建AI系統需要大量的人力，強調了測試、驗證和持續支持的重要性。所有這些都需要專門的資源。

Databricks的AI副總裁、MosaicAI的創始人兼前首席執行官Naveen Rao表示：“成功部署AI助手可能很復雜。”企業需要訪問各種大型語言模型(LLM)，并且有能力管理和監控不僅代理和模型，還有底層數據和工具。“這不是一個簡單的問題，隨著時間的推移，AI系統訪問的數據及其訪問方式將受到越來越多的審查。”

探索AI助手時需要考慮的因素

專家建議，在考慮部署AI助手的選項(第三方、開源或定制)時，企業應采取一種受控的、戰術性的方法。

咨詢公司Intelligence Briefing的創始人兼首席AI戰略師Andreas Welsch建議，首先要考慮幾個重要的問題和因素，其中包括：

? 你的團隊大部分時間花在哪里?

? 在這個過程中，哪些任務或步驟最耗時?

? 這些任務的復雜性如何?是否涉及IT系統和可訪問的數據?

? 提高速度或降低成本將為你的企業帶來什么?你能否(以及如何)衡量基準?

Welsch指出，考慮現有的許可證和訂閱也很重要。與軟件銷售代表交談，了解你的企業是否已經可以使用代理功能，如果可以，使用它們需要什么條件(例如附加組件或更高級別的訂閱)。

從那里開始，尋找一個業務功能中的機會。例如：“你的團隊在哪些無法用代碼描述的手動步驟上花費時間?”之后，在探索代理時，了解其潛力并“診斷”任何差距。

同時，一定要通過向團隊展示代理如何幫助他們工作來賦能和教育團隊。“也不要害怕提及代理的局限性，”Welsch說，“這將有助于你管理預期。”

制定策略，采用跨職能方法

Curran強調，在制定企業AI策略時，采用跨職能方法非常重要。成功的企業會讓多個部門參與這一過程，包括業務領導層、軟件開發和數據科學團隊、用戶體驗經理等。

他建議，基于企業的核心原則和目標制定路線圖。“我們作為一個企業的目標是什么?AI將如何幫助我們實現這些目標?”

Curran承認，這無疑很困難，因為技術發展得太快了。“沒有一套最佳實踐、框架，”他說。在AI助手方面，沒有多少開發人員有發布后集成和DevOps的經驗。“構建這些東西的技能還沒有以廣泛的方式真正得到發展和量化。”

因此，企業難以啟動各種AI項目(包括所有類型)，并且許多企業最終會轉向咨詢機構或他們現有的技術供應商之一，這些供應商擁有在其技術堆棧上進行構建的資源和能力。最終，當企業與合作伙伴緊密合作時，他們將最有可能取得成功。

“第三方提供商可能有足夠的資源來跟上最新的技術和架構來構建這一系統，”Curran說。

這并不是說不可能在內部構建定制代理;恰恰相反，他指出。例如，如果一個企業擁有強大的內部開發團隊以及RAG和機器學習(ML)架構，他們可以利用這些來創建自己的代理AI。他還強調，如果“你的數據得到了良好的管理、記錄和標記”，并且沒有“一團糟”的API策略，同樣也可以這樣做。

無論哪種情況，企業都必須從一開始就將持續的、部署后的需求納入其AI策略中。

“部署后沒有免費的午餐，”Curran說，“所有這些系統都需要某種形式的發布后維護和支持，以及持續的調整和優化，以保持它們的準確性，并隨著時間的推移使它們更加準確。”