訪談
AI 名人觀點
重要訪談

替你解析 AI 界關鍵人物的重要訪談、對話、演講 — 透過名人的思想看見未來。

165
位人物
245
篇訪談解讀
204
個訪談來源

【對談】OpenAI computer use 已超越一般人,下一個對手是專家用戶

Ari Weinstein · Latent Space Podcast(2026-09 專訪,OpenAI DevDay 後) · 2026-10-05 ▶ 觀看訪談
名人訪談簡介

OpenAI DevDay 剛結束,後台走廊還熱的時候,Latent Space Podcast 直接把麥克風塞給了兩位產品主管。一個是 Ari Weinstein,負責 computer use 代理的產品與工程;一個是 Nikunj(Nick),主導 API 團隊產品。外界爭論的問題其實只有一個:AI 操控電腦這件事,到底是真的在進步,還是過去兩年都在原地踏步?有家知名 AI 播客說它兩年沒動。Ari 的回答是:180 度不同。

每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。

這場訪談有幾個值得說的點。第一,computer use 的速度首次超過一般人,下一個目標是超越專家用戶;第二,OpenAI 在四週內從零到有做出一個對標 Jev 的 decisions API,靠的是黑客文化而非計畫;第三,dots 這個新產品讓每個 AI 助理都有一台雲端 Linux 主機,代理能力從幫你查升級到幫你跑整台電腦;第四,API 層的 caching,async tool calling,websockets 這些基礎建設悄悄成熟,是代理應用能跑起來的真正底座。合起來看,這不是功能發布會,是 OpenAI 在宣告:代理操電腦這件事,基礎設施已經就緒。

◎computer use 速度從追上一般人到追超級用戶

Ari 說,現在 computer use 完成任務的速度,在大多數情況下已經超過普通人了。他舉了一個自己的例子:訂餐服務需要高度客製化,他自己做要兩小時,交給 computer use 十五分鐘搞定,快了八倍。下一個目標不是再快一點,是要達到專家用戶等級——也就是比最會用電腦的人還快。他認為到那個門檻,real-time 體驗才真正打開,人們才會開始把原本手動做的事默認交給代理。這不是願景,是他們目前正在爬的那座山。

◎computer use 的進步靠的不只是模型,是整個 harness

OpenAI computer use 已超越一般人,下一個對手是專家用戶

兩年前的 computer use 能開始任務,卻常常卡住。現在模型會自我除錯,重試,反省哪裡不對。但更關鍵的變化在 harness——這裡的 harness 是指控制模型如何與電腦互動的那套框架。過去代理靠截圖一步一步走,現在會直接讀取畫面的 accessibility 資料(類似視障輔助科技那套樹狀結構),還會寫 JavaScript 讓瀏覽器一次執行多個動作。速度瓶頸也從模型思考時間,移到了外部網站的載入時間——等 DoorDash 讀完頁面,才能讓模型做下一個動作。這細節說明了一件事:模型夠聰明之後,工程端的每個毫秒都開始有代價。

◎dots 給每個代理一台雲端 Linux 主機,不是瀏覽器分頁

OpenAI 這次發布的 dots 產品,每個 dot 背後都有一台完整的 Linux 虛擬主機在雲端跑。這跟之前產品只給代理一個雲端瀏覽器分頁不同,前者只能上網,後者可以跑桌面應用程式。Ari 的說法是:世界上所有軟體都是為人設計的,現在代理可以用同一套軟體了。意思是代理能做的事,不再受限於有沒有 API,只要你人坐在電腦前能做的,dot 理論上都能做。GPD 6.1 Soul 這個新模型在 computer use 的成本是前代 Astra 模型的七分之一,這讓 dots 的規模化成本壓力小很多。

◎decisions API 四週從靈感到產品,靠的是黑客文化

Jev 是一家做超快分類推論 API 的公司,發布後整個市場跟風。OpenAI 四週前還完全沒有這個東西,現在 decisions API 已經在發布當天亮相。Nick 說,是 infra 團隊一個工程師看到 Jev 直接去刻原型,刻出來能用,然後全隊開始壓延遲。做法是在現有 Luna 模型(OpenAI 內部大型推論模型)的基礎上,強制結構化輸出,批次平行執行多個問題,把推論堆疊壓到最快。沒有訓練新模型。Nick 也直說,信心校準這個難題——模型要知道自己有多確定——目前還沒解決,是後續要爬的坡。這場發布坦白說了幾成:速度到了,準度還在追。

◎API 底層的 caching 和 websockets,才是代理跑起來的地基

Nick 花了不少時間講基礎建設。websockets 讓 API 變成雙向即時通訊,代理工具呼叫跑的時候模型不用傻等,可以繼續推理再回來看結果。快取從過去三十分鐘命中保證,現在推出十二小時快取窗口,對那種一條很長的代理執行緒來說,跑了幾小時再回來還能省錢。async tool calling 和 mid-turn steering(模型推理途中可以插入指令)這些也都進了 API。這些東西名字無聊,但沒有它們,代理應用的延遲和成本都撐不住。開發者現在能建的東西,是因為底層這幾年悄悄補起來了。

Computer use 這件事,從能開始任務到比專家用戶還快,路比看起來短。模型聰明到一定程度之後,剩下的戰場是工程:harness,accessibility,caching,websockets,一個毫秒一個毫秒地摳。OpenAI 這次在 DevDay 說的不是遙遠的願景,是正在量產的基礎建設。代理操電腦,已經不是實驗室裡的把戲了。

重要發言 KEY QUOTES 點時間碼即在此播放
[01:00]
Ari Weinstein

主持人介紹 Ari 負責 computer use agents 的產品與工程,接著 Ari 快速總覽 DevDay 當天的 computer use 相關發布:dots,GPD 6.1 Soul,agents API 新增 computer use 支援,app shot 功能示範。

[06:00]
Ari Weinstein

主持人提到一家知名 AI 播客說 computer use 兩年沒有進展,Ari 回應說那是幾個月前說的,他希望對方現在看法不同,並說 computer use 已經是 180 度的改變。

[07:30]
Ari Weinstein

Ari 說明自己從 Apple Shortcuts,創立 Sky 到加入 OpenAI 的歷程,強調一年內模型在 computer use 上的進步遠超過去;最大差異是模型從能開始任務進化到能自我除錯和重試。

[10:30]
Ari Weinstein

Ari 說明 harness 改進的具體例子:引入 accessibility 資料和直接存取 DOM,讓模型能看到完整頁面而非一頁頁截圖,並能用 JavaScript 一次執行多個動作,大幅提升速度。

[13:30]
Ari Weinstein

主持人問 computer use 兩年後的走向,Ari 說當前已超過一般人速度,下一個目標是超越專家用戶;並指出新瓶頸之一是外部網站本身的載入時間,需要事件驅動方式減少等待。

[21:00]
Nikunj (Nick)

Nick 介紹自己主導 OpenAI API 產品三年,說明 GPD 6 的新 API 能力:async tool calling,mid-turn steering,websockets 雙向通訊,以及這些能力如何讓代理執行更流暢。

[24:30]
Nikunj (Nick)

討論 decisions API 的起源:四週前完全不存在,受 Jev 啟發後 infra 團隊工程師自行刻原型,目前基於現有 Luna 模型權重加上結構化輸出和平行批次推論,尚未訓練新模型;信心校準是未解問題。

[34:00]
Nikunj (Nick)

Nick 說明 responses API 的 caching 改進:從 30 分鐘命中保證進化到 12 小時快取窗口(目前限特定用戶預覽),並介紹 pre-warming 功能讓開發者可以預先暖快取,降低延遲。

電子報訂閱 ・ NEWSLETTER

看完今天的,讓明天的自己送上門

每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。

已出刊 128 期 ・ 隨時可退訂

訪談出處
訪談名稱 Latent Space Podcast(2026-09 專訪,OpenAI DevDay 後)
講者 Ari Weinstein
日期 2026年9月
觀看原始訪談 ↗