作者丨Dom Couldwell

編譯丨諾亞

出品 | 51CTO技術棧（微信號：blog51cto）

根據麥肯錫公司的估計，生成式人工智能預計每年將為全球經濟帶來2.6萬億至4.4萬億美元的經濟效益。這一預測基于63個新的應用場景，這些場景有望在多個市場中為客戶帶來改進、效率提升和新產品。這對于開發者和IT領導者來說都是一個巨大的機遇。

生成式AI的核心在于數據。數據賦予了生成式AI理解和分析我們周圍世界的能力，并與之互動，為其變革性的能力提供動力。要在生成式AI領域取得成功，公司需要妥善管理和準備數據。

同時，你還需要為構建和運營大規模的AI服務打下基礎，并以明智且可持續的方式為生成式AI項目提供資金支持。緩慢起步并逐漸減弱的方式無法贏得這場人工智能競賽。這意味著你不僅要在數據層面做好充分準備，還要有策略地擴大AI服務規模，并確保項目資金來源穩定，以支持長期發展和持續創新。

如果我們不改進數據管理方式，或未能采取正確的方法來應對規模擴大和成本控制問題，那么生成式AI蘊含的巨大潛力將會被白白浪費掉。以下是一些關于我們如何改進數據管理方法以及如何長期支持生成式AI項目的思考。

1.數據從哪里來

數據以多種形態存在，每種形態的數據如果使用得當，都能提升生成式AI洞察的豐富性和質量。

第一種形式是結構化數據，它以規則有序且一致的方式組織起來，包括產品信息、客戶人口統計資料或庫存水平等項目。這類數據提供了有組織的事實基礎，可以添加到生成式AI項目中以提高響應的質量。

此外，您可能還有外部數據源可以補充內部結構化數據源，例如天氣報告、股票價格或交通流量等。這些數據能夠為決策過程帶來實時和真實世界的背景信息，將其融入項目可提供額外高質量數據，但可能沒有必要自行生成這類數據。

另一種常見的數據集是衍生數據，涵蓋了通過分析和建模場景創建的數據。此類深度見解可能包括客戶意圖報告、季節性銷售預測或群體分析等。

最后一種常見數據形式是非結構化數據，與分析師習慣的常規報告或數據格式不同，這類數據包括圖像、文檔和音頻文件等格式。這些數據捕捉到了人類溝通和表達的細微之處。生成式AI程序常常圍繞圖像或音頻工作，它們是生成式AI模型的常見輸入和輸出。

2.要讓生成式AI實現大規模應用

所有這些多樣的數據集各自存在于自己的環境中。為了使其對生成式AI項目有用，關鍵在于使這一多樣化的數據景觀在實時情況下可供訪問。由于涉及如此大量的潛在數據，任何方法都必須能夠在需求增長時動態擴展，并在全球范圍內復制數據，確保資源在接到請求時能靠近用戶，從而避免停機時間并減少交易請求中的延遲。

此外，還需要對這些數據進行預處理，以便生成式AI系統能夠有效利用。這涉及到創建嵌入（embeddings），即代表語義含義的數學值，即向量。嵌入使得生成式AI系統能夠超越特定文本匹配，而是涵蓋數據內含的意義和上下文。無論原始數據形式如何，創建嵌入意味著數據能夠被生成式AI系統理解并使用，同時保留其意義和上下文。

通過這些嵌入，企業可以支持跨所有數據的向量搜索或混合搜索，同時結合價值和意義。然后將這些結果收集起來傳遞回用于整合結果的大規模語言模型（LLM）。通過從多個源頭提供更多數據，而不是僅僅依賴LLM本身，你的生成式AI項目就能為用戶提供更準確的結果，并降低虛構內容的風險。

為了在實踐中實現這一點，必須選擇正確的底層數據架構。在這個過程中，應盡可能避免數據分散在不同解決方案中形成碎片化拼湊，因為每一個這樣的解決方案都代表著一個需要長期支持、查詢和管理的數據孤島。用戶應該能夠快速向LLM提問并迅速得到回應，而不是等待多個組件響應并由模型權衡其結果。統一的數據架構應當提供無縫的數據集成，使生成式AI能夠充分利用所有可用的數據頻譜。

3.模塊化方法的優勢

為了擴展生成式AI實施，需要在加快采用速度與保持對關鍵資產的控制之間取得平衡。采用模塊化的方式來構建生成式AI代理可以使這個過程變得更容易，因為它可以分解實施過程，避免潛在的瓶頸。    

類似于微服務設計在應用程序中的應用，AI服務的模塊化方法也鼓勵圍繞應用程序和軟件設計的最佳實踐，消除故障點，并讓更多潛在用戶能夠接觸這項技術。這種方法還使得監控整個企業中AI代理的表現變得更容易，能夠更精確地找出問題發生的位置。

模塊化的第一個好處是可解釋性，因為參與生成式AI系統的各組成部分彼此分離，這樣就更容易分析代理是如何運作和作出決策的。AI通常被視為“黑箱”，而模塊化使得跟蹤和解釋結果變得更加容易。

第二個好處是安全性，因為各個組件可以通過最佳認證和授權機制進行保護，確保只有授權用戶才能訪問敏感數據和功能。模塊化還使得合規和治理變得更容易，因為個人身份識別信息（PII）或知識產權（IP）可以得到保障，與底層LLM保持分離。

4.提供持續靈活的資金模型

除了采用微服務方法之外，還應在整體生成式AI項目中采用平臺思維模式。這意味著取代傳統的基于項目的軟件項目資金模型，轉而提供一種持續和靈活的資金模型。這種方法賦予參與者基于價值做決策的能力，能夠響應新興機會，并發展最佳實踐，而不受制于僵硬的資金周期或商業案例。

以這種方式管理預算還能鼓勵開發人員和業務團隊將生成式AI視為組織已有的基礎設施的一部分，從而更容易平滑規劃工作負載的高峰和低谷，更容易采取“卓越中心”的方法并在長期內保持一致性。

類似的做法是將生成式AI視為企業自身運營的產品，而非單純的軟件。AI代理應作為產品來管理，因為這更能有效地體現其所創造的價值，并使整合、工具和提示方面的支持資源更容易獲得。簡化這種模式有助于在整個組織內普及對生成式AI的理解，促進最佳實踐的采納，并營造出共享專業知識和協作的生成式AI開發文化。

生成式AI具有巨大的潛力，各公司正競相在其運營中實施新的工具、代理和提示。然而，要將這些潛在項目投入生產，就需要有效管理數據、奠定系統規模化發展的基礎，并建立合適的預算模型以支持團隊。合理安排流程和優先級將有助于你和你的團隊釋放這項技術的變革潛力。

參考地址：https://www.infoworld.com/article/3713461/how-to-manage-generative-ai.html