在不太遙遠的未來，GenAI將使企業軟件領域以往無法實現或成本過高的功能成為可能。

GenAI，尤其是大型語言模型(LLM)，正在改變公司開發和交付軟件的方式。從聊天機器人和簡單自動化工具開始的這一進程，正在發展成為功能更為強大的AI系統——這些系統與軟件架構深度融合，并影響從后端流程到用戶界面的方方面面。

聊天機器人浪潮：短期趨勢

公司目前正在專注于為各種問題開發聊天機器人和定制化的GPT，這些基于AI的工具在兩個領域尤其有用：使內部知識易于獲取和自動化客戶服務。聊天機器人用于構建響應系統，使員工能夠快速訪問廣泛的內部知識庫，打破信息孤島。

盡管這些工具很有用，但由于缺乏創新或差異化，其價值正在逐漸降低。此外，由于缺乏解決某些問題的更好替代方案的知識，聊天機器人往往并不是合適的用戶界面。

未來的特點將是更深入的AI能力，這些能力將無縫融入軟件產品中，而終端用戶甚至不會察覺到。

無處不在的GenAI技術

在未來幾年，AI將從一種需要直接用戶交互的明確、不透明的工具，演變成功能集中無縫集成的一個組件。GenAI將實現動態內容創建、智能決策和實時個性化等功能，而用戶無需直接與它們交互。這將從根本上改變用戶界面(UI)設計和軟件的使用方式。用戶將越來越能夠通過自然語言描述他們的需求，而不是手動輸入特定參數。

這一趨勢的一個顯著例子已經可以在Adobe Photoshop等工具中看到。“生成式填充”功能不再需要手動調整多個參數，相反，用戶只需描述他們想要填充圖像選定區域的內容，這種向自然語言輸入發展的趨勢將在應用程序中普及，使用戶體驗(UX)更加直觀，不再受傳統UI元素的限制。

未來的挑戰將不再是稀缺性，而是豐富性：識別并優先考慮最有前景的機遇。

LLM相較于專用機器學習模型的商品化效應

GenAI給IT領域帶來的最顯著變革之一，是AI能力的民主化。在LLM和擴散模型出現之前，企業需要投入大量的時間、精力和資源來開發定制的機器學習模型，以解決難題，這需要專門的角色和團隊來收集特定領域的數據、準備特征、標注數據、重新訓練和管理模型的整個生命周期。

如今，LLM正在改變公司解決算法上難以或無法解決的問題的方式，盡管“大型語言模型”中的“語言”一詞具有誤導性，這些自回歸模型最終可以處理任何可以輕松分解為標記的內容：圖像、視頻、聲音甚至蛋白質。公司可以使用檢索增強生成(RAG)架構，用自己的數據來豐富這些多功能工具，這使得它們廣泛的能力得以被利用。

在許多情況下，這消除了對專門團隊、大量數據標注和復雜機器學習管道的需求。LLM廣泛的預訓練知識使它們能夠有效地處理和解釋甚至是非結構化數據。

這種民主化的一個重要方面是，LLM可以通過易于使用的應用程序編程接口(API)獲得。如今，幾乎每個開發人員都知道如何使用基于API的服務，這使得將這些模型無縫集成到現有的軟件生態系統中成為可能，這使公司能夠受益于強大的模型，而無需擔心底層基礎設施，或者，如果有特定的安全或數據保護要求，也可以在本地運行多個模型，然而，這將犧牲前沿領先模型提供的一些優勢。

以一款用于記錄和管理差旅費用的應用程序為例。傳統上，這樣的應用程序可能會使用專門訓練的機器學習模型，將上傳的收據分類到會計類別中，如DATEV。這需要專用的基礎設施，理想情況下還需要一個完整的MLOps管道(用于模型訓練、部署和監控)來管理數據收集、訓練和模型更新。

如今，這樣的機器學習模型可以很容易地被一個LLM所取代，該LLM利用其世界知識與良好的提示相結合，進行文檔分類。LLM的多模態能力也在許多情況下消除了對光學字符識別(OCR)的需求，極大地簡化了技術棧。收據中的數據是否還需要包括凈價和毛價或稅率?LLM也能做到。

以往不可能實現的AI功能

GenAI使各種功能成為可能，這些功能以往對大多數企業來說過于復雜、成本過高或完全遙不可及，因為它們需要投資于定制的機器學習解決方案或復雜算法。讓我們來看一些具體的例子。

基于情緒和上下文的搜索：超越關鍵詞

基于氛圍的搜索代表了相對于傳統基于關鍵詞的搜索系統的重大進步。

它允許用戶用自然語言表達他們的意圖，不僅捕獲特定術語，還捕獲查詢的完整上下文和“氛圍”。

例如：

傳統關鍵詞搜索：“柏林最好的餐廳”

基于情緒和上下文的搜索：“我是一個挑剔的鑒賞家，喜歡既提供酒水也提供食物的酒吧，最好是用當地食材，推薦柏林米特區和克羅伊茨貝格區的餐廳，請不要推薦教條式的自然酒吧。”

在基于情緒和上下文的搜索中，LLM可以理解和處理以下內容：

? 自我介紹為“挑剔的鑒賞家”

? 偏好提供食物的酒吧

? 希望使用當地食材

? 特定的社區偏好(米特區和克羅伊茨貝格區)

? 區分普通酒吧和“教條式的自然酒吧”

這種細微差別和上下文理解水平使搜索功能能夠提供高度個性化和相關的結果，而不僅僅是匹配關鍵詞。

實施基于情感和上下文的搜索可以顯著提升各種應用中的用戶體驗：

? 內部知識庫：員工可以使用自然語言查詢來查找描述其特定情況或需求的信息。

? 電子商務平臺：客戶可以用自己的語言描述產品，即使他們不知道確切的術語。

? 客戶服務系統：用戶可以詳細描述他們的問題，然后，系統會為他們提供更精確的解決方案或將他們轉接給合適的支持人員。

? 內容管理系統：內容編輯可以使用描述性語言搜索資產或內容，而無需依賴大量的標簽或元數據。

智能數據和內容分析

情感分析

讓我們看一個實際例子：一個內部系統允許員工發布關于他們工作的簡短狀態消息，一位經理想要評估團隊在特定一周內的整體情緒。在過去，使用定制化的機器學習(ML)模型對這些帖子進行情感分析是具有挑戰性的，而有了大型語言模型(LLM)，這種復雜性就簡化為了一個簡單的API調用。

結果甚至不需要以人類可讀的語言輸出，它可以作為結構化的JSON提供，系統處理該數據以顯示匹配的圖標或圖形，或者，LLM可以簡單地輸出表情符號來代表情緒，當然，這樣的功能只有在員工同意的情況下才會實施。

從復雜數據中獲取洞察

另一個例子展示了LLM在分析復雜數據方面的強大能力，即冷卻系統的智能報警管理。

傳統上，這些系統側重于：

? 具有實時數據和警報的圖形化報警儀表板

? 復雜、可過濾的時間序列數據的表格表示

這些功能很有用，但往往需要大量的人工解釋才能獲得有意義的洞察，而LLM可以通過將原始數據轉化為零樣本基礎上的可行動洞察，來擴展系統的能力，無需專門的機器學習模型，具體包括：

? 自動報告：LLM可以分析時間序列數據，并用自然語言生成詳細報告，這些報告可以突出趨勢、異常和關鍵績效指標，對技術人員和管理人員都很有價值。例如，一份總結上周報警的報告，識別出重復出現的問題，并提出改進建議。

? 深入分析：LLM可以超越簡單的數據呈現，識別并解釋數據中的復雜模式。例如，它們可以識別表明系統重大問題的報警序列——這些洞察在傳統表格視圖或圖表中可能會被忽略。

? 預測性洞察：通過分析歷史數據，LLM可以預測系統未來的狀態，這能夠實現主動維護，并幫助預防潛在故障。

? 結構化輸出：除了自然語言報告外，LLM還可以輸出結構化數據(如JSON)，這使得創建動態、圖形化的用戶界面成為可能，以直觀表示復雜信息。

? 自然語言查詢：工程師可以用自然語言向系統提問，如“未來幾周內哪些設備可能切換到故障轉移模式?”并立即收到相關答案和可視化展示，這大大降低了數據評估和解釋的門檻，這一功能現在也可以通過OpenAI的實時API獲得。

多模態黑箱：書寫、說話、觀看和聽覺

多模態極大地擴展了LLM的能力，能夠處理文本、圖像、聲音和語音的模型實現了復雜的功能組合。一個例子是這樣的應用程序，它幫助用戶處理復雜的視覺內容，并將其以文本或語音的形式準備出來。

可能的使用案例范圍非常廣泛：一段掃過書架的視頻將識別出的書名填入數據庫，雞舍監控視頻中出現的不熟悉的動物被識別出來，一位蘇格蘭女性在德國租來的汽車的導航系統中用語音說出街道名稱。

技術限制和解決方案

LLM存在一定的技術限制，其中最顯著的是上下文窗口——即語言模型在一次處理中能夠處理的文本量(更準確地說，是token的數量)。

大多數LLM的上下文窗口有限，通常在幾千到幾十萬token之間。例如，GPT-4的上下文窗口是128000個token，而Gemini 1.5 Pro可以處理多達2,000,000個token。雖然這看起來相當可觀，但在處理書籍或長視頻等輸入集時，很快就會成為瓶頸。

幸運的是，有幾種策略可以繞過這一限制：

? 分塊(分割)和總結：將大文檔分割成更小、或適合上下文窗口的片段。每個片段單獨處理，然后合并結果。

? 檢索增強生成(RAG)：不是僅依賴模型(極其廣泛)的知識，而是從單獨的數據源中檢索相關信息，并將其納入提示中。

? 域適應：將精心的提示工程與領域特定的知識庫相結合，可以在不限制模型通用性的情況下提供專業知識。

? 滑動窗口技術：滑動窗口可用于分析長文本序列，如時間序列數據或長文檔。模型在遍歷整個文檔時保留一些上下文。

? 多階段推理：將復雜問題分解為一系列較小的步驟。每個步驟在上下文窗口限制內使用LLM，之前步驟的結果為后續步驟提供信息。

? 混合方法：傳統的信息檢索方法(如TF-IDF和BM25)可以預過濾相關的文本段落。這顯著減少了后續LLM分析的數據量，從而提高了整個系統的效率。

GenAI作為企業軟件的標準組件

公司需要認識到GenAI的本質：它是一種影響一切的通用技術，它將成為標準軟件開發棧的一部分，以及新功能或現有功能不可或缺的推動者。確保軟件開發未來的可行性，不僅需要獲取用于軟件開發的AI工具，還需要為AI日益增長的影響力準備基礎設施、設計模式和運營。

隨著這一趨勢的發展，軟件架構師、開發人員和產品設計師的角色也將發生變化。他們需要開發設計AI功能、處理非確定性輸出以及與各種企業系統無縫集成的新技能和策略。隨著純粹的硬技能變得越來越便宜且更容易自動化，軟技能以及技術角色和非技術角色之間的協作將變得比以往任何時候都更加重要。