無直接數據可用，AI怎么學會「干活」？微軟團隊揭秘AI從語言到行動的進化之路
該技術報告的主要作者 Lu Wang, Fangkai Yang, Chaoyun Zhang, Shilin He, Pu Zhao, Si Qin 等均來自 Data, Knowledge, and Intelligence (DKI) 團隊，為微軟 TaskWeaver, WizardLLM, Windows GUI Agent UFO 的核心開發者。
近年來，大語言模型（Large Language Models, LLMs）的迅猛發展推動了自然語言處理（NLP）領域的技術進步。這些模型在對話生成、文本翻譯、知識問答和代碼生成等任務中展現出卓越的性能。
然而，盡管 LLMs 可以通過語言生成為用戶提供信息支持，其功能仍局限于文本層面，無法主動與物理或數字環境交互，或因缺乏領域知識和數據而導致生成的「動作」效果不佳。這種「語言 - 行動斷層」阻礙了人工智能（AI）在許多實際場景中的廣泛應用。
為解決這一核心問題，微軟團隊首次提出了一種完整的方法體系，詳盡描述了在無直接可用數據的情況下如何從零開始訓練一個大行動模型（Large Action Model, LAM），并將其逐步構建為可在真實環境中完成任務的智能體。
這一工作為 LAM 模型訓練的奠定了基礎，還為 AI 從被動語言生成向主動行動生成的轉變提供了新思路。
- 技術報告鏈接：Large Action Models: From Inception to Implementation
- 數據處理代碼鏈接：https://github.com/microsoft/UFO/tree/main/dataflow
- 完整的技術文檔鏈接：https://microsoft.github.io/UFO/dataflow/overview/
從語言到行動的必要演化
LLMs 的局限性
傳統 LLMs，如 OpenAI 的 GPT 系列和 Mistral-7B，能夠生成富有邏輯性和創意的文本內容，廣泛應用于問答系統、代碼補全、文案生成等任務中。然而，當用戶的需求超越語言生成層面，例如操作軟件、完成復雜的工作流程或直接操控物理設備時，這些模型便暴露出明顯的不足。
這一局限性源于 LLMs 的設計初衷：它們被優化用于生成語言內容，而非執行行動。雖然 LLMs 在任務規劃和意圖理解方面表現出色，但它們缺乏行動生成所需的任務分解、環境交互和多步執行能力。
LAM（大行動模型）具備三大特性：
- 用戶意圖理解，能從多種輸入（語言、語音、圖像等）中準確解析意圖并轉化為具體可執行計劃；
- 行動生成能力，可根據環境將用戶需求轉化為 GUI 操作、API 調用、物理動作等多種形式的具體步驟；
- 動態規劃與適應，能夠分解復雜任務，靈活應對環境變化，實時調整計劃以完成目標。這些特性使 LAM 在復雜任務執行中表現出色。
圖 1：從 LLM 到 LAM 的演化
從 LLMs 到 LAMs 的挑戰
如圖 1 所示，構建 LAMs 的核心挑戰在于如何將模型從一個被動的文本生成器轉變為能夠在真實環境中執行復雜任務的主動行動生成器。這一轉變不僅需要重新定義模型能力，還涉及從數據、訓練方法到評估方式的全面革新：
- 數據積累的難題
數據獲取是訓練 LAM 的最大挑戰。LAM 需要大量任務 - 行動對數據來學習如何在不同環境中執行操作。然而，這類數據在實際應用中往往難以獲取或批量收集。
- 模型訓練的重大轉化
LAM 的開發需要從僅生成文本的 LLMs 轉化為具備任務規劃、動態執行和調整能力的模型。這不僅需要對模型架構進行深度改造，還需要采用全新的訓練方法，以賦予模型行動生成與環境適配的能力。
- 離線評估的局限性
在靜態、受控環境中測試 LAM 的性能是必要的一步，用以驗證其基礎能力。然而，僅止步于離線評估無法真實反映模型在實際復雜場景中的表現。
- 環境適配與線上評估的復雜性
LAM 需要實時與復雜、多樣的數字或物理環境交互。這要求模型具備動態適應性，能夠根據實時反饋調整行動。此外，在真實環境中進行線上評估，測試 LAM 的準確性、效率和任務完成效果，是驗證其實際性能的關鍵環節。
針對上述挑戰，微軟團隊首次提出并實現了一套完整的從 0 到 1 訓練 LAM 模型的流程，涵蓋了從數據積累、模型訓練到實際部署的所有步驟。
該團隊的方法不僅解決了「無數據」的初始瓶頸，還通過逐步迭代的方式，讓模型從簡單的任務規劃能力成長為具備復雜行動生成能力的智能體。這一研究填補了現有領域的空白，為 LAMs 的開發提供了首個實踐范例。
數據積累
從無到有構建 LAM 的第一步
在訓練 LAM（大行動模型）時，數據積累是關鍵。與 LLMs（大語言模型）訓練需要大量文本數據類似，LAM 的開發依賴高質量的任務 - 行動數據。
然而，這類數據在實際應用中非常稀缺，特別是領域專屬和可執行的數據。為了克服這一瓶頸，該團隊設計了一套從無到有的數據收集與處理流程，分為兩大階段：任務 - 計劃數據收集和任務 - 行動數據收集。
圖 2：任務 - 計劃數據的收集過程
階段一：任務 - 計劃數據收集
如圖 2 所示，任務 - 計劃數據以用戶請求為起點，生成任務描述及其對應的詳細操作步驟。該團隊從多種開源資源中收集任務 - 計劃對，包括應用幫助文檔（如 Microsoft Word 的幫助頁面）、WikiHow 任務教程，以及用戶的搜索查詢記錄。
通過這些來源，該團隊構建了包含 76,672 對任務與計劃的初始數據集，其中 29,182 對是直接獲取的，47,490 對通過數據擴展技術生成。
此外，他們采用數據增強技術生成更多任務 - 計劃對。通過 GPT-4o 演化原始任務，增加復雜性和約束條件，同時生成相應的計劃，擴展數據集規模至原來的 150%。例如，「在 Excel 中創建下拉菜單」被演化為「創建依賴下拉菜單，并根據第一列選擇過濾第二列內容」，從而提高模型對復雜任務的適應能力。
圖 3：任務 - 行動數據收集過程
階段二：任務 - 行動數據收集
任務 - 計劃數據雖然用于高層次規劃，但不能直接執行。如圖 3 所示，為填補從規劃到執行的差距，該團隊通過以下步驟生成任務 - 行動數據：
1. 實例化任務：利用預定義模板（如 Word 文檔樣例），將任務描述具體化，將抽象的計劃步驟轉化為具體的行動序列（如「點擊菜單欄中的「設計」選項」）。
2. 執行驗證：在真實環境中執行實例化的任務，捕獲執行軌跡和環境反饋，確保行動序列的可操作性和正確性。
3. 評估與后處理：使用 GPT-4o 對執行結果進行驗證，僅保留與任務目標一致的成功軌跡，并記錄詳細元數據（如環境狀態和執行時間），最終生成結構化的任務 - 行動對。
這一流程最終生成了覆蓋廣泛操作場景的任務 - 行動數據集，為 LAM 訓練提供了精確的行動模板，顯著提升了模型在真實環境中的任務執行能力。
通過兩階段的逐步積累，成功地從「無數據」狀態出發，構建了 LAM 訓練所需的高質量任務 - 行動數據。這一方法不僅解決了數據稀缺問題，還通過引入真實環境交互和動態驗證，確保數據的高效性和適用性，為從 LLMs 到 LAMs 的轉變提供了堅實基礎。
方法：從 0 到 1，逐步構建 LAM
如圖 4 所示，構建 LAM 的過程分為四個階段，涵蓋了從數據積累到模型訓練的完整工作流。
圖 4：LAM 的訓練過程
第一階段：任務計劃預訓練
為了讓模型具備基本的任務規劃能力，首先訓練模型生成任務分解計劃。數據來源為任務 - 計劃數據。模型的目標是根據輸入任務生成正確的任務分解計劃。例如，「在 Word 中插入表格」被分解為「點擊插入菜單」、「選擇表格選項」、「輸入表格行列數」等步驟。這一階段讓模型掌握了任務分解的基本能力，為后續的行動生成打下了基礎。
第二階段：專家知識學習
盡管第一階段的模型可以生成任務計劃，但仍缺乏執行這些計劃的能力。為此，需要利用收集到的任務 - 行動數據，并通過模仿學習訓練模型執行具體操作。經過訓練，模型從一個被動的計劃生成器轉變為能夠執行計劃的主動行動生成器。
第三階段：自我探索提升
專家數據的覆蓋范圍有限，無法囊括所有可能的任務場景。為此，該團隊設計了自我探索機制，將 LAM 部署在 UFO 中，UFO 是一個開源 GUI Agent 框架，能夠通過交互 Windows 操作系統中的圖形用戶界面（GUI）元素來完成任務。讓 LAM 嘗試完成之前失敗的任務，并從中積累新的成功經驗。
1. 任務挑戰：模型嘗試完成 2,284 個由 GPT-4 未解決的任務，通過動態探索生成可能的成功軌跡。
2. 數據擴展：在自我探索中，模型生成了 496 條新成功軌跡，將其與之前的專家數據合并形成擴展數據集。
3. 模型迭代：通過再次微調，模型進一步提升了處理復雜任務的能力，增強了對未知環境的適應性。
這一階段實現了從無數據到新數據的自動生成與積累，擴展了訓練數據的覆蓋范圍。
第四階段：獎勵模型優化
為了進一步提升模型的行動質量，在此引入了獎勵模型（Reward Model, RM），同時利用正負反饋，通過強化學習優化 LAM 的決策能力。
實驗結果
離線實驗結果
表格 1：不同 LAM 訓練階段的離線實驗結果
為了驗證訓練方法的有效性，該團隊在 435 個任務上對不同階段的 LAM 模型進行了離線測試。如表格 1 的實驗結果顯示，LAM 的各階段的訓練都帶來了模型性能提升。
環境適配
圖 5：LAM 智能體架構
如圖 5 所示，經過訓練的 LAM 模型被集成到 GUI 智能體 UFO 的 AppAgent 中作為推理引擎，后者充當橋梁，將 LAM 預測的動作「著地」為可執行的實際操作。
線上實驗結果
表格 2：LAM 的線上實驗結果
如表格 2 所示，LAM 在線上實驗任務中成功率（TSR）方面表現優異，達到 71.0%，在文本輸入模式下超越了基線模型（GPT-4o 和 GPT-4o Mini）。
效率對比
LAM 在任務完成時間和平均步時延上展現了顯著優勢：
1. 任務完成時間：LAM 完成單個任務平均耗時僅 30.42 秒，相比之下，無視覺輸入的 GPT-4o 耗時 86.42 秒，約為 LAM 的 2.84 倍，而帶視覺輸入的 GPT-4o 耗時更長，為 96.48 秒。
2. 平均步時延：LAM 的每步時延為 5.41 秒，顯著優于無視覺輸入的 GPT-4o（12.84 秒）和帶視覺輸入的 GPT-4o（19.36 秒）。
更多細節，請參閱技術報告原文。
