OpenAI 開放 Decisions API，搶快速判斷模型市場

OpenAI 週四把 Decisions API 開放給所有客戶。這項服務不陪你聊天，只做一件事：在幾個選項裡快速挑出答案。它正面挑戰新創 TypeSafe，這家公司靠同類產品，最近成了估值 76 億美元的公司。

這個市場是 TypeSafe 的 Jev 模型打出來的。這類模型被稱為 System One 模型，你給它幾個選項，它很快選出一個，同時附上自己有幾成把握。許多開發者發現，軟體流程裡大量的判斷根本不需要大型語言模型長篇思考，換成這種模型後，速度變快，成本也大砍。

打個比方，大型語言模型像一位會寫完整報告的顧問，問什麼都能洋洋灑灑回答，但每次都要等。決策模型比較像路口的交通指揮員，車子一到，揮手決定往左還是往右，一秒都不耽擱。軟體裡很多時候需要的正是後者。

OpenAI 的 API 產品負責人 Nikunj Handa 說，同事看到 Jev 就意識到潛力驚人，他說：「我們大概有一百萬種用途可以用它。」團隊沒有從頭打造專用模型，而是把現成的 ChatGPT Luna 重新調整，加快運算、壓低成本。Handa 說最大的突破是速度，原本要一到三秒，現在縮到 100 到 180 毫秒。

這項 API 在 9 月 29 日的開發者大會上宣布，這次全面開放時多了語音和圖像，OpenAI 也在世界各地分散配置運算資源，降低各地的回應延遲。首批客戶包括 Box、Datadog、Ramp 和 Speak，工程師把原本用的 OpenAI 大型語言模型換成這個 API，換取更高的處理量。做 AI 語言家教的 Speak，技術長 Andrew Hsu 說，他們把每個動作之間的等待從 1.4 秒縮短到 0.13 秒。OpenAI 自家的語音助理 Dots 也用它來提升反應速度。

不過，怎樣才算好的決策模型，業界還沒有共識。聰明程度、成本、把握度準不準、速度，各種工作的需求不同，取捨也不同。TypeSafe 執行長 Diogo Almeida 不信任評比排名，建議用戶拿自己的工作實測。即便如此，TypeSafe 上週推出最新版 Jev，新增圖像支援，也公布了自家排名。

在 AIM System One Index 和 Artificial Analysis Decision Index 兩個評比上，拿到最高分的是 Liquid 的 D1 Ultra 與 Base Lab 的 Elephant-1。最新版 Jev 分居第七和第三，OpenAI 的模型則排第八和第十四。在 AI 模型串接平台 OpenRouter 上，用戶最常呼叫的仍是 TypeSafe 的產品。

最有趣的評比叫 JevMan，讓模型玩小精靈，目前由最新版 Jev 領先。打造這個評比的 Opper AI 成長長 Felix Wunderlich 說，這款遊戲是很好的測試，因為快速又高風險的決定一個接一個，每到一個路口，模型都得在幾百毫秒內決定往哪走。

OpenAI 的優勢在於能同時處理多種形式的資料。Handa 說，在圖像分類上，Luna 非常強，對自己判斷的把握也抓得更準。

接下來的看點是速度還能快到什麼程度。Handa 拋出問題：能不能壓到 60 毫秒左右，讓影片的每一格畫面都能呼叫一次 API？如果速度更快、價格更低，就可能應驗傑文斯悖論，也就是資源用得越有效率，反而用得越普遍。Handa 預期，許多原本沒人想到的用途，會隨決策模型普及而大量冒出來。