從1920年的小說《R.U.R》到《鋼鐵俠》中的JARVIS，在過去的一個世紀里，人們一直夢想著構(gòu)建能夠自動化日常工作的Digital Agents（數(shù)字代理）。如今，隨著視覺語言模型（VLMs）的蓬勃發(fā)展，構(gòu)建這樣的Agents成為了可能。

1-1 Agent for GUI Control

想要構(gòu)建一個有效的Computer Use Agents，其必須擁有兩個能力：（1）Planning能力，即規(guī)劃Computer-use任務(wù)的能力，能將用戶給定的（高階）指令分步劃分為多個子目標**（2）Action能力**，即根據(jù)當前目標，執(zhí)行相應(yīng)的動作（比如點擊，輸入，滑動等等）。在現(xiàn)有的研究中，典型的有**（1）以O(shè)S-Copilot和UFO-Agent為代表的GUI agents**，它們通過調(diào)用API和a11ytree來與數(shù)字世界（如手機、網(wǎng)站）中的GUI進行交互。（2）以SeeClick，OS-ATLAS為代表的Action model（動作模型），根據(jù)用戶的指令執(zhí)行動作，比如預(yù)測GUI中的元素坐標并進行點擊等動作。這些工作雖已有所成效，但在實際應(yīng)用中依然有局限性，前者依賴GPT4o等閉源模型，只能通過提示詞交互且成本較高；后者需要在動作模型外搭配一個planner模型一起使用。 從實際應(yīng)用角度，構(gòu)建一個統(tǒng)一的、基于開源模型的GUI Agent將會對通用的GUI控制大有裨益。然而，想要端到端地完成這類Agent構(gòu)建絕非易事，其最大的瓶頸便是訓(xùn)練數(shù)據(jù)。

1-2 Data Bottleneck

在構(gòu)建高質(zhì)量的GUI agent時，GUI軌跡數(shù)據(jù)能最有效地讓agent學(xué)習(xí)如何完成任務(wù)，其數(shù)據(jù)稀缺性是當前digital agent領(lǐng)域最關(guān)鍵挑戰(zhàn)之一。以下是一個典型的GUI軌跡數(shù)據(jù)示例，它包括以下部分：

• 高階指令：明確規(guī)定任務(wù)目標，例如“將菜單應(yīng)用中的‘Avocado Toast with Egg’標記為收藏”。
• 低階指令：分解為具體的操作步驟，例如“點擊‘Avocado Toast with Egg’以查看更多選項”。
• 動作：與低階指令相關(guān)的具體操作，如“CLICK [Avocado Toast with Egg]”。
• 狀態(tài)：包括執(zhí)行動作前后的可視化和文本化表示，例如屏幕截圖和GUI的a11ytree結(jié)構(gòu)。

現(xiàn)有的軌跡數(shù)據(jù)采集方法通常依賴于人工監(jiān)督或基于預(yù)定義任務(wù)（Task-Driven）的合成數(shù)據(jù)生成。這些方法在實際應(yīng)用中存在以下局限性：

• 人工采集的過高成本：人工標注軌跡數(shù)據(jù)需要大量的人力資源，不僅需要手動設(shè)計高階指令，還需逐步記錄每一步操作。這使得數(shù)據(jù)收集過程成本高昂且效率低下。
• 合成數(shù)據(jù)的局限性：基于模型生成的軌跡數(shù)據(jù)雖然可以緩解人工標注的成本問題，但通常依賴于預(yù)定義的高階任務(wù)。這種方法不僅限制了生成數(shù)據(jù)的多樣性，還容易導(dǎo)致與真實環(huán)境的差距。特別是在中間步驟出錯或任務(wù)目標/環(huán)境不匹配時，生成的軌跡可能是不完整或不連貫的。

因此，如何在成本可控的情況下，有效地構(gòu)建GUI Agents軌跡是一個非常重要的課題。在此動機下，本文提出了OS-Genesis：一套無需人工監(jiān)督的高質(zhì)量GUI數(shù)據(jù)合成框架。

方法

OS-Genesis的在數(shù)據(jù)構(gòu)建上的核心思想是：通過先探索性地交互GUI環(huán)境，捕捉每一步動作及其前后狀態(tài)變化。

然后基于這些變化逆向生成高質(zhì)量的低階指令（Low-level instruction，比如’點擊Chrome APP’），再根據(jù)環(huán)境導(dǎo)出一個高階指令（High-level instruction，比如’添加日程：看機器之心推文’）。隨后，讓模型執(zhí)行這一合成的指令，此過程完全擺脫了人工干預(yù)和任務(wù)預(yù)定義的限制，實現(xiàn)了GUI軌跡數(shù)據(jù)生成的高效性和多樣性。我們認為，本工作可以為構(gòu)建通用的GUI agent提供新的思路，其具體方法如下所示

2-1 反向任務(wù)合成

OS-Genesis的核心是反向任務(wù)合成（Reverse Task Synthesis），它使得我們在構(gòu)建GUI軌跡數(shù)據(jù)時擺脫需要人工/機器預(yù)定義任務(wù)（pre-defiend task）的局限。其流程如下所示

? 動作記錄與狀態(tài)捕捉（Record）

在沒有預(yù)定義任務(wù)的情況下，OS-Genesis通過在GUI環(huán)境中系統(tǒng)性地執(zhí)行基本動作（例如CLICK、TYPE、SCROLL等），生成大量的三元組數(shù)據(jù) ?狀態(tài)前，動作，狀態(tài)后?，即 ?spre, action, spost?。這些三元組記錄了每個動作對環(huán)境狀態(tài)的影響，為后續(xù)的任務(wù)合成提供了原始數(shù)據(jù)。

?低階指令生成（Low-Level Isntruction）

利用GPT-4o模型，將每個三元組 ?Screen1, Action, Screen2? 轉(zhuǎn)化為描述具體操作的低階指令（Low-level Instruction）。例如，若動作CLICK使某菜單展開，低階指令可能為“點擊下拉菜單以顯示選項”。

?高階任務(wù)生成（High-Level Isntruction）

在低階指令的基礎(chǔ)上，OS-Genesis進一步生成高階指令（High-level Instruction）。高階指令通過結(jié)合低階步驟和當前GUI環(huán)境，描述了一個更為抽象且目標明確的任務(wù)，例如“配置應(yīng)用程序設(shè)置”。這種從低階到高階的逐步生成方法不僅確保了指令的邏輯一致性，還能最大化利用GUI環(huán)境中的動態(tài)特性。

通過上述反向任務(wù)合成，OS-Genesis可以在沒有人工干預(yù)的情況下構(gòu)建多樣化、語義豐富的任務(wù)集合，顯著提升了數(shù)據(jù)生成的效率和質(zhì)量。

2-2 軌跡構(gòu)建與獎勵模型

反向任務(wù)合成生成的高階指令隨后被用作探索GUI環(huán)境的起點，進一步構(gòu)建完整的軌跡數(shù)據(jù)（Trajectory）。為了確保生成軌跡的質(zhì)量，OS-Genesis引入了一個獎勵模型（Trajectory Reward Model, TRM），對生成的軌跡進行質(zhì)量評估和篩選。以下是軌跡構(gòu)建與獎勵模型的詳細流程：

• 軌跡執(zhí)行

利用反向任務(wù)合成生成的高階指令，GUI agent會執(zhí)行一系列動作以完成任務(wù)。每條軌跡由以下內(nèi)容組成：高階指令、低階指令、動作序列以及狀態(tài)（包含截圖和a11ytree）。

• 軌跡獎勵模型（Trajectory Reward Model）

為避免低質(zhì)量或不完整軌跡對模型訓(xùn)練的負面影響，OS-Genesis使用TRM對每條軌跡分配一個獎勵分數(shù)。獎勵分數(shù)基于以下兩個指標：

完成度（Completion）：衡量一條GUI軌跡是否成功完成High-level 任務(wù)，包括每個步驟的正確性和邏輯連貫性。

一致性（Coherence）：評估軌跡的邏輯是否恰當，確保動作序列能夠高效地實現(xiàn)任務(wù)目標。

• Reward-driven的數(shù)據(jù)篩選方法

根據(jù)獎勵分數(shù)，軌跡數(shù)據(jù)會被優(yōu)先用于模型訓(xùn)練。與傳統(tǒng)的二元過濾方法（即拋棄執(zhí)行失敗的任務(wù)）不同，TRM允許部分不完整但具有探索價值的軌跡保留在數(shù)據(jù)集中，從而最大化地利用生成的數(shù)據(jù)。

通過結(jié)合反向任務(wù)合成和獎勵模型，OS-Genesis實現(xiàn)了從任務(wù)生成到軌跡構(gòu)建的端到端流程。實驗結(jié)果表明，OS-Genesis生成的數(shù)據(jù)在質(zhì)量和多樣性上均顯著優(yōu)于現(xiàn)有方法，為構(gòu)建通用GUI agent提供了可靠的數(shù)據(jù)支持。

3 實驗

為了驗證OS-Genesis在動態(tài)環(huán)境中生成高質(zhì)量軌跡數(shù)據(jù)的能力，本文在動態(tài)環(huán)境上進行了實驗。對于Mobile場景選擇了AndroidWorld和AndroidControl，對于Web場景則使用了WebArena作為測評基準。在這些復(fù)雜的環(huán)境中，我們測試用OS-Genesis合成數(shù)據(jù)訓(xùn)練的agent表現(xiàn)相對傳統(tǒng)方法效果如何。

3-1 模型與基線

VLMs. 我們在實驗中選擇了代表性的VLSs作為GUI agent的基礎(chǔ)模型，以便全面評估OS-Genesis生成的數(shù)據(jù)在不同模型上的的影響：

• InternVL2-4B/8B：上海人工智能實驗室開發(fā)的一種支持高分辨率動態(tài)輸入的開源VLM，主要用于視覺-語言任務(wù)。其擴展版本InternVL2-8B具有更大的模型容量。
• 2Qwen2-VL-7B-Instruct：一種多模態(tài)模型，具備一定的GUI交互能力，專為指令執(zhí)行任務(wù)優(yōu)化。

此外，我們還額外添加了GPT-4o作為一個強baseline，來比較我們所訓(xùn)練的開源模型和商業(yè)模型之間的差距

Baselinse. 所有的baseline接受的狀態(tài)信息均為 Screenshots + a11ytree

• Zero-Shot：直接使用未經(jīng)過額外訓(xùn)練的模型完成任務(wù)。這種方法用于評估模型的原始能力。
• Task-Driven：利用預(yù)定義任務(wù)和固定策略生成數(shù)據(jù)，廣泛應(yīng)用于傳統(tǒng)數(shù)據(jù)生成流程。
• Self-Instructions：在Task-Driven的基礎(chǔ)上，引入自我指令生成機制來擴展任務(wù)的和覆蓋范圍。

3-2 Mobile

? 在**AndroidWorld（In-domain Mobile場景實驗）**中，OS-Genesis所生成的數(shù)據(jù)顯著提升了GUI agents的任務(wù)成功率，從baseline VLMs的的9.82%提升至17.41%，幾乎可以做到翻倍。尤其是在任務(wù)規(guī)劃和復(fù)雜操作中，OS-Genesis的數(shù)據(jù)展現(xiàn)了更強的適應(yīng)性和泛化能力。

mobile-exp

? 在AndroidControl中**（OOD實驗）**，OS-Genesis生成的軌跡在高階和低階任務(wù)中均表現(xiàn)出色，特別是在高階任務(wù)中，其規(guī)劃能力提升尤為明顯。此外，OS-Genesis在未見過的應(yīng)用場景下表現(xiàn)出了較強的泛化能力，驗證了其生成數(shù)據(jù)的高質(zhì)量和多樣性。

3-3 Web

OS-Genesis在WebArena（In-domain Web場景實驗）中的表現(xiàn)也顯著優(yōu)于baselines。對于復(fù)雜的交互式網(wǎng)頁任務(wù)（如GitLab和Reddit），由OS-Genesis訓(xùn)練而來的agent相比Task-Driven方法提升了約50%。在多個動態(tài)網(wǎng)頁場景中，通過OS-Genesis生成的數(shù)據(jù)，agent表現(xiàn)出了更高的多樣性和泛化能力，特別是在需要多步操作的任務(wù)中，其生成軌跡更符合邏輯和用戶意圖。

本文轉(zhuǎn)載自??????NLP PaperWeekly??????，作者：NLP PaperWeekly