最近，AI領域的巨頭OpenAI又給我們帶來了一個重磅消息。他們在AI代理框架上進行了四項關鍵更新，這些更新不僅擴展了平臺兼容性，還提升了對語音接口的支持，并且增強了可觀察性。這些改進都是為了讓AI代理更加實用、可控和可審計，以便更好地融入現實世界的各種應用場景，無論是客戶端還是服務器端。

1. TypeScript支持：AI開發迎來新選擇

首先，OpenAI的Agents SDK現在支持TypeScript了！這意味著除了Python開發者之外，那些在JavaScript和Node.js環境中工作的開發者也可以輕松上手。TypeScript SDK與Python版本功能一致，包括以下幾個關鍵組件：

• Handoffs（交接機制）：可以將執行流程路由到其他代理或進程。
• Guardrails（防護欄）：運行時檢查，確保工具行為在預定義的邊界內。
• Tracing（追蹤）：在代理執行過程中收集結構化遙測數據的鉤子。
• MCP（模型上下文協議）：用于在代理步驟和工具調用之間傳遞上下文狀態的協議。

這一更新讓SDK與現代Web和云原生應用棧保持一致。開發者現在可以在前端（瀏覽器）和后端（Node.js）環境中使用統一的抽象來構建和部署代理。詳細的文檔可以在openai-agents-js找到。

2. RealtimeAgent：實時語音交互的“神器”

OpenAI推出了一種新的RealtimeAgent抽象，專門用于支持對延遲敏感的語音應用。RealtimeAgent擴展了Agents SDK，增加了音頻輸入/輸出、有狀態交互和中斷處理功能。

其中最值得關注的功能是Human-in-the-Loop（HITL，人在回路中）審批。這個功能允許開發者在運行時攔截代理的執行，序列化其狀態，并在繼續執行之前要求手動確認。這對于需要監督、合規檢查點或特定領域驗證的應用場景非常關鍵。

開發者可以暫停執行，檢查序列化狀態，并在保留完整上下文的情況下恢復代理。更多細節可以在OpenAI的HITL文檔中找到。

3. 實時API會話的可追溯性：讓語音代理“有跡可循”

與RealtimeAgent功能相輔相成的是，OpenAI擴展了Traces儀表板，增加了對語音代理會話的支持。現在，無論是通過SDK還是直接通過API調用發起的會話，都可以進行追蹤。

Traces界面可以可視化以下內容：

• 音頻輸入和輸出（流式或緩沖）
• 工具調用及其參數
• 用戶中斷和代理恢復

這為基于文本和以音頻為主的代理提供了統一的審計跟蹤，簡化了跨模態的調試、質量保證和性能調優。追蹤格式標準化，并與OpenAI的監控棧集成，無需額外的監控工具即可提供全面的可見性。更多實現細節可以在語音代理指南中找到。

4. 語音交互的優化：更自然、更流暢

OpenAI對其底層的語音到語音模型進行了更新，這些模型是實時音頻交互的核心。改進主要集中在減少延遲、提高自然度和更有效地處理中斷。

雖然模型的核心功能——語音識別、合成和實時反饋——保持不變，但這些改進讓對話系統在響應性和語調變化方面表現得更好。具體來說：

• 低延遲流式傳輸：在口語對話中實現更即時的輪次交替。
• 富有表現力的音頻生成：改進了語調和停頓的建模。
• 對中斷的魯棒性：代理可以優雅地響應重疊輸入。

這些變化與OpenAI支持動態、多模態環境中運行的具身化和對話型代理的總體努力相一致。

總結：邁向更模塊化、更易用的AI代理生態

這四項更新共同加強了構建語音支持、可追溯且對開發者友好的AI代理的基礎。通過與TypeScript環境的深度集成，引入實時流程中的結構化控制點，以及增強可觀察性和語音交互質量，OpenAI繼續朝著更模塊化和互操作性強的代理生態系統邁進。

這些更新不僅僅是技術上的進步，更是OpenAI在推動AI技術走向實用化、普及化道路上的重要一步。無論是開發者還是最終用戶，都將從這些改進中受益。未來，OpenAI還會帶來哪些驚喜？讓我們拭目以待！

?

本文轉載自??Halo咯咯???    作者：基咯咯