AI Agent 如何改變我們與網頁的互動方式
AI 智能體（像 OpenAI Operator 這樣的）能幫你自動完成網上找產品、管理瀏覽器標簽等任務，簡直是解放雙手！但要讓這些智能體真正派上用場，挑戰可不小。這篇文章會聊聊 AI 智能體在網頁互動中的現狀、痛點，以及一個叫 Agentic Web Interfaces (AWIs) 的新解決方案。
圖片
引言
AI 智能體想在網頁上干點有意義的事兒，遠比處理簡單搜索復雜得多。
雖然 MCP (Model Context Protocol) 網頁服務器能幫忙搞定搜索操作，但更大的問題是，網頁是為人類設計的，復雜的界面、動態元素、交互組件，AI 智能體想順暢“讀懂”可不容易。
光靠截圖或試圖解析網頁結構，是一種很粗糙的辦法，缺乏語義理解，自動化效果大打折扣。根本問題在于，網頁內容是為視覺瀏覽設計的，不是給程序直接訪問的，動態內容、復雜布局、交互組件都讓解析變得困難。
MCP 或許能幫上忙，通過提供更結構化的接口，標準化 AI 智能體訪問和操作網頁資源的方式，擺脫對視覺解讀的依賴。但 MCP 生態還在發展，能否應對復雜的網頁導航還得打個問號。
圖片
理想的解決方案是網頁標準能暴露語義結構和功能，給 AI 智能體提供友好格式。但在這種標準普及前，AI 智能體還得在人類導向的網頁設計和程序化訪問需求的差距中掙扎。
回到研究
最近一項研究指出，當前基于瀏覽器和 API 增強的 AI 智能體，因為依賴人類設計的網頁界面，面臨不少挑戰。
網頁瀏覽器是為人類用戶和開發者設計的，不是給 AI 智能體用的。
雖然研究提出了有價值的思考，但缺乏具體細節，沒能完全勾勒出新的交互范式，相比之下，像 arXiv:2505.10609 和 arXiv:2505.22368 這樣的論文提供了更可操作的研究。
不過，研究探索了當前網頁 AI 智能體的現狀、局限性，并提出了一個解決方案：Agentic Web Interfaces (AWIs)，還是很值得一聊。
網頁 AI 智能體現在咋工作
網頁 AI 智能體通過模仿人類與網站互動的方式工作。它們接收自然語言任務（比如“找一雙 10 號白色鞋子”），用像 Playwright 這樣的工具點擊或輸入，靠獎勵函數評估任務完成情況。
主要有兩種類型：
? 基于瀏覽器的 AI 智能體：只跟網站 UI 打交道，通過截圖、Document Object Model (DOM) 樹或可訪問性樹來理解網頁。
? API 增強的混合智能體：結合 UI 交互和網頁 API 調用來提高效率，比如直接拉取數據。
這兩種方式都有問題，因為人類設計的界面——復雜 UI 或有限的 API——壓根兒沒為 AI 智能體優化，導致效率低、風險高。
不過，讓 AI 智能體像人類一樣“用”現有網頁，確實有種特別的吸引力。
當前方法的挑戰
基于瀏覽器的 AI 智能體
基于瀏覽器的 AI 智能體靠截圖或 DOM 樹，但各有毛?。?/span>
? 截圖會漏掉隱藏元素（比如下拉菜單），DOM 樹解析又費計算資源。
? AI 智能體反復渲染網頁會給服務器添負擔，觸發像 CAPTCHA 這樣的防御機制，影響人類用戶體驗。
? 更糟的是，它們能訪問瀏覽器數據（比如密碼），帶來隱私風險，比如未經授權的購買。
API 增強的混合 AI 智能體
混合智能體用 API 繞過一些 UI 限制，但 API 功能有限，像排序產品這種任務得開發者費老大勁。
頻繁調用 API 還可能觸發速率限制，逼得智能體只能靠低效的 UI 交互。
安全也是個問題，AI 智能體用內部 API 可能繞過像雙重驗證這樣的防護，造成未經授權的訪問和高額使用成本。
研究認為，強迫 AI 智能體適應人類界面是個錯誤方向，提出了 AWIs——專為 AI 智能體設計的接口。
如何打造一個 OpenAI 的計算機使用智能體（CUA 模型）
想建一個能幫你完成任務的計算機使用智能體？用 OpenAI 的 CUA 模型 來創建一個 AI 智能體……（詳情見 cobusgreyling.medium.com）
新范式？Agentic Web Interfaces (AWIs)
AWIs 旨在通過創建一個標準化的、為 AI 智能體優化的交互層來解決問題。研究提出了幾個指導原則：
? AWIs 得標準化、以人為本、安全、高效，還得對開發者友好。
研究還給出了具體建議：
統一的高級動作
AWIs 可以用像“goto”這樣的動作，把多步操作（比如輸入 URL 并按回車）合為一步，保持網站間一致性。
UI 兼容性
像 Playwright 這樣的雙向工具可以同步 AWI 和 UI 狀態，確保與人類瀏覽器兼容。
訪問控制
通過訪問控制列表和生物識別技術，限制 AI 智能體訪問敏感數據，提升安全性。
漸進式信息傳輸
只發送必要數據（比如壓縮后的圖片），能減少帶寬和成本。
任務隊列
限制并發智能體數量，分散使用，能避免服務器過載，也惠及人類用戶。
研究的價值與不足
研究提出 AWIs 的想法很吸引人，點出了人類界面與 AI 能力不匹配的問題。
它關注了計算效率低和安全風險等關鍵問題，提出了一種前瞻性解決方案。
但是……它的建議缺乏實際落地的深度。
比如，沒說清楚怎么在不同網站間標準化 AWIs，也沒量化效率提升。相比之下，像 arXiv:2505.10609 和 arXiv:2505.22368 這樣的研究提供了詳細的網頁智能體設計框架，包括具體算法和評估指標，對開發者更實用。
展望未來
網頁 AI 智能體潛力巨大，但依賴人類設計的界面帶來了效率和風險問題。
AWIs 可能會徹底改變 AI 智能體導航網頁的方式，但研究的高層次想法還需更具體的開發。
