【對談】OpenAI computer use 已超越一般人,下一個對手是專家用戶
OpenAI DevDay 剛結束,後台走廊還熱的時候,Latent Space Podcast 直接把麥克風塞給了兩位產品主管。一個是 Ari Weinstein,負責 computer use 代理的產品與工程;一個是 Nikunj(Nick),主導 API 團隊產品。外界爭論的問題其實只有一個:AI 操控電腦這件事,到底是真的在進步,還是過去兩年都在原地踏步?有家知名 AI 播客說它兩年沒動。Ari 的回答是:180 度不同。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場訪談有幾個值得說的點。第一,computer use 的速度首次超過一般人,下一個目標是超越專家用戶;第二,OpenAI 在四週內從零到有做出一個對標 Jev 的 decisions API,靠的是黑客文化而非計畫;第三,dots 這個新產品讓每個 AI 助理都有一台雲端 Linux 主機,代理能力從幫你查升級到幫你跑整台電腦;第四,API 層的 caching,async tool calling,websockets 這些基礎建設悄悄成熟,是代理應用能跑起來的真正底座。合起來看,這不是功能發布會,是 OpenAI 在宣告:代理操電腦這件事,基礎設施已經就緒。
◎computer use 速度從追上一般人到追超級用戶
Ari 說,現在 computer use 完成任務的速度,在大多數情況下已經超過普通人了。他舉了一個自己的例子:訂餐服務需要高度客製化,他自己做要兩小時,交給 computer use 十五分鐘搞定,快了八倍。下一個目標不是再快一點,是要達到專家用戶等級——也就是比最會用電腦的人還快。他認為到那個門檻,real-time 體驗才真正打開,人們才會開始把原本手動做的事默認交給代理。這不是願景,是他們目前正在爬的那座山。
◎computer use 的進步靠的不只是模型,是整個 harness

兩年前的 computer use 能開始任務,卻常常卡住。現在模型會自我除錯,重試,反省哪裡不對。但更關鍵的變化在 harness——這裡的 harness 是指控制模型如何與電腦互動的那套框架。過去代理靠截圖一步一步走,現在會直接讀取畫面的 accessibility 資料(類似視障輔助科技那套樹狀結構),還會寫 JavaScript 讓瀏覽器一次執行多個動作。速度瓶頸也從模型思考時間,移到了外部網站的載入時間——等 DoorDash 讀完頁面,才能讓模型做下一個動作。這細節說明了一件事:模型夠聰明之後,工程端的每個毫秒都開始有代價。
◎dots 給每個代理一台雲端 Linux 主機,不是瀏覽器分頁
OpenAI 這次發布的 dots 產品,每個 dot 背後都有一台完整的 Linux 虛擬主機在雲端跑。這跟之前產品只給代理一個雲端瀏覽器分頁不同,前者只能上網,後者可以跑桌面應用程式。Ari 的說法是:世界上所有軟體都是為人設計的,現在代理可以用同一套軟體了。意思是代理能做的事,不再受限於有沒有 API,只要你人坐在電腦前能做的,dot 理論上都能做。GPD 6.1 Soul 這個新模型在 computer use 的成本是前代 Astra 模型的七分之一,這讓 dots 的規模化成本壓力小很多。
◎decisions API 四週從靈感到產品,靠的是黑客文化
Jev 是一家做超快分類推論 API 的公司,發布後整個市場跟風。OpenAI 四週前還完全沒有這個東西,現在 decisions API 已經在發布當天亮相。Nick 說,是 infra 團隊一個工程師看到 Jev 直接去刻原型,刻出來能用,然後全隊開始壓延遲。做法是在現有 Luna 模型(OpenAI 內部大型推論模型)的基礎上,強制結構化輸出,批次平行執行多個問題,把推論堆疊壓到最快。沒有訓練新模型。Nick 也直說,信心校準這個難題——模型要知道自己有多確定——目前還沒解決,是後續要爬的坡。這場發布坦白說了幾成:速度到了,準度還在追。
◎API 底層的 caching 和 websockets,才是代理跑起來的地基
Nick 花了不少時間講基礎建設。websockets 讓 API 變成雙向即時通訊,代理工具呼叫跑的時候模型不用傻等,可以繼續推理再回來看結果。快取從過去三十分鐘命中保證,現在推出十二小時快取窗口,對那種一條很長的代理執行緒來說,跑了幾小時再回來還能省錢。async tool calling 和 mid-turn steering(模型推理途中可以插入指令)這些也都進了 API。這些東西名字無聊,但沒有它們,代理應用的延遲和成本都撐不住。開發者現在能建的東西,是因為底層這幾年悄悄補起來了。
Computer use 這件事,從能開始任務到比專家用戶還快,路比看起來短。模型聰明到一定程度之後,剩下的戰場是工程:harness,accessibility,caching,websockets,一個毫秒一個毫秒地摳。OpenAI 這次在 DevDay 說的不是遙遠的願景,是正在量產的基礎建設。代理操電腦,已經不是實驗室裡的把戲了。
主持人介紹 Ari 負責 computer use agents 的產品與工程,接著 Ari 快速總覽 DevDay 當天的 computer use 相關發布:dots,GPD 6.1 Soul,agents API 新增 computer use 支援,app shot 功能示範。
主持人提到一家知名 AI 播客說 computer use 兩年沒有進展,Ari 回應說那是幾個月前說的,他希望對方現在看法不同,並說 computer use 已經是 180 度的改變。
Ari 說明自己從 Apple Shortcuts,創立 Sky 到加入 OpenAI 的歷程,強調一年內模型在 computer use 上的進步遠超過去;最大差異是模型從能開始任務進化到能自我除錯和重試。
Ari 說明 harness 改進的具體例子:引入 accessibility 資料和直接存取 DOM,讓模型能看到完整頁面而非一頁頁截圖,並能用 JavaScript 一次執行多個動作,大幅提升速度。
主持人問 computer use 兩年後的走向,Ari 說當前已超過一般人速度,下一個目標是超越專家用戶;並指出新瓶頸之一是外部網站本身的載入時間,需要事件驅動方式減少等待。
Nick 介紹自己主導 OpenAI API 產品三年,說明 GPD 6 的新 API 能力:async tool calling,mid-turn steering,websockets 雙向通訊,以及這些能力如何讓代理執行更流暢。
討論 decisions API 的起源:四週前完全不存在,受 Jev 啟發後 infra 團隊工程師自行刻原型,目前基於現有 Luna 模型權重加上結構化輸出和平行批次推論,尚未訓練新模型;信心校準是未解問題。
Nick 說明 responses API 的 caching 改進:從 30 分鐘命中保證進化到 12 小時快取窗口(目前限特定用戶預覽),並介紹 pre-warming 功能讓開發者可以預先暖快取,降低延遲。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 128 期 ・ 隨時可退訂

