最近，AI領(lǐng)域的巨頭OpenAI又給我們帶來了一個重磅消息。他們在AI代理框架上進行了四項關(guān)鍵更新，這些更新不僅擴展了平臺兼容性，還提升了對語音接口的支持，并且增強了可觀察性。這些改進都是為了讓AI代理更加實用、可控和可審計，以便更好地融入現(xiàn)實世界的各種應用場景，無論是客戶端還是服務器端。

1. TypeScript支持：AI開發(fā)迎來新選擇

首先，OpenAI的Agents SDK現(xiàn)在支持TypeScript了！這意味著除了Python開發(fā)者之外，那些在JavaScript和Node.js環(huán)境中工作的開發(fā)者也可以輕松上手。TypeScript SDK與Python版本功能一致，包括以下幾個關(guān)鍵組件：

• Handoffs（交接機制）：可以將執(zhí)行流程路由到其他代理或進程。
• Guardrails（防護欄）：運行時檢查，確保工具行為在預定義的邊界內(nèi)。
• Tracing（追蹤）：在代理執(zhí)行過程中收集結(jié)構(gòu)化遙測數(shù)據(jù)的鉤子。
• MCP（模型上下文協(xié)議）：用于在代理步驟和工具調(diào)用之間傳遞上下文狀態(tài)的協(xié)議。

這一更新讓SDK與現(xiàn)代Web和云原生應用棧保持一致。開發(fā)者現(xiàn)在可以在前端（瀏覽器）和后端（Node.js）環(huán)境中使用統(tǒng)一的抽象來構(gòu)建和部署代理。詳細的文檔可以在openai-agents-js找到。

2. RealtimeAgent：實時語音交互的“神器”

OpenAI推出了一種新的RealtimeAgent抽象，專門用于支持對延遲敏感的語音應用。RealtimeAgent擴展了Agents SDK，增加了音頻輸入/輸出、有狀態(tài)交互和中斷處理功能。

其中最值得關(guān)注的功能是Human-in-the-Loop（HITL，人在回路中）審批。這個功能允許開發(fā)者在運行時攔截代理的執(zhí)行，序列化其狀態(tài)，并在繼續(xù)執(zhí)行之前要求手動確認。這對于需要監(jiān)督、合規(guī)檢查點或特定領(lǐng)域驗證的應用場景非常關(guān)鍵。

開發(fā)者可以暫停執(zhí)行，檢查序列化狀態(tài)，并在保留完整上下文的情況下恢復代理。更多細節(jié)可以在OpenAI的HITL文檔中找到。

3. 實時API會話的可追溯性：讓語音代理“有跡可循”

與RealtimeAgent功能相輔相成的是，OpenAI擴展了Traces儀表板，增加了對語音代理會話的支持。現(xiàn)在，無論是通過SDK還是直接通過API調(diào)用發(fā)起的會話，都可以進行追蹤。

Traces界面可以可視化以下內(nèi)容：

• 音頻輸入和輸出（流式或緩沖）
• 工具調(diào)用及其參數(shù)
• 用戶中斷和代理恢復

這為基于文本和以音頻為主的代理提供了統(tǒng)一的審計跟蹤，簡化了跨模態(tài)的調(diào)試、質(zhì)量保證和性能調(diào)優(yōu)。追蹤格式標準化，并與OpenAI的監(jiān)控棧集成，無需額外的監(jiān)控工具即可提供全面的可見性。更多實現(xiàn)細節(jié)可以在語音代理指南中找到。

4. 語音交互的優(yōu)化：更自然、更流暢

OpenAI對其底層的語音到語音模型進行了更新，這些模型是實時音頻交互的核心。改進主要集中在減少延遲、提高自然度和更有效地處理中斷。

雖然模型的核心功能——語音識別、合成和實時反饋——保持不變，但這些改進讓對話系統(tǒng)在響應性和語調(diào)變化方面表現(xiàn)得更好。具體來說：

• 低延遲流式傳輸：在口語對話中實現(xiàn)更即時的輪次交替。
• 富有表現(xiàn)力的音頻生成：改進了語調(diào)和停頓的建模。
• 對中斷的魯棒性：代理可以優(yōu)雅地響應重疊輸入。

這些變化與OpenAI支持動態(tài)、多模態(tài)環(huán)境中運行的具身化和對話型代理的總體努力相一致。

總結(jié)：邁向更模塊化、更易用的AI代理生態(tài)

這四項更新共同加強了構(gòu)建語音支持、可追溯且對開發(fā)者友好的AI代理的基礎(chǔ)。通過與TypeScript環(huán)境的深度集成，引入實時流程中的結(jié)構(gòu)化控制點，以及增強可觀察性和語音交互質(zhì)量，OpenAI繼續(xù)朝著更模塊化和互操作性強的代理生態(tài)系統(tǒng)邁進。

這些更新不僅僅是技術(shù)上的進步，更是OpenAI在推動AI技術(shù)走向?qū)嵱没⑵占盎缆飞系闹匾徊健o論是開發(fā)者還是最終用戶，都將從這些改進中受益。未來，OpenAI還會帶來哪些驚喜？讓我們拭目以待！

?

本文轉(zhuǎn)載自??Halo咯咯???    作者：基咯咯