【專訪】Noam Brown：模型評測方式根本是錯的，安全框架也一樣

這場訪談值得注意的地方有四個。第一，現行的模型評測方式系統性地低估了新模型的能力，Brown 用 OpenAI 自家的 o3 系列做了具體示範。第二，同樣的問題反過來也成立：安全評測也同樣低估了模型的危險潛力，而各大實驗室的安全框架還沒跟上。第三，Brown 對AI 一夜爆炸性進化這個劇本明確說不，但他給出的理由本身就很值得細想。第四，他對 AI 能不能真正做研究這件事，有一個清醒到有點殘忍的判斷。合起來看，這是一個從業者在說：我們跑得很快，但我們連自己跑到哪裡都還沒搞清楚。

◎評測網格是個大家都知道爛，但沒人先動的壞均衡

每次新模型發布，各家實驗室都會公布一張表格：左邊列各種測驗項目，右邊填分數，讓外界一眼比較。問題是這張表格缺了一個最關鍵的欄位：這個分數是花多少算力換來的？Brown 說，OpenAI 的 o3 模型發布時，很多人看了表格覺得進步幅度普通，但實際用過之後才發現根本是另一回事——因為 o3 更有效率，花同樣的思考時間能做到更多，而不是花更長時間才追上前一代。正確的比較方式，是把算力或花費當作橫軸，把表現畫成一條曲線，而不是一個數字。Brown 說他跟研究圈聊過，大家都覺得這樣做才對，但就是沒人先做，因為大家都在等別人先改。他寫那篇文章，就是想打破這個僵局。

◎安全評測有同樣的盲點，而且後果更嚴重

各大 AI 實驗室都有一套安全評估流程，用來判斷新模型有沒有危險能力，例如能不能協助製造生化武器。但 Brown 指出，這些框架大多在 ChatGPT 剛出現前後制定，當時讓模型多花時間思考並不能顯著提升能力，所以評測只問這個模型能做什麼，沒有問給它一百萬美元的算力它能做什麼。現在的情況完全不同了：花十塊錢和花一千萬美元，模型能做到的事差距懸殊。如果有用能力能隨算力預算無限延伸，危險能力也一樣。Brown 沒有直接說現在的模型已經危險，但他說的更讓人不安：我們根本沒有認真問過這個問題，而且在模型每兩三個月就更新一輪的速度下，沒有人真的有時間把模型推到極限再評估。

◎AI 不會一夜爆炸，但理由本身就是警訊

一夜智慧爆炸是 AI 圈一個流傳已久的假設：模型某天突破某個門檻，開始自我改良，改良讓它更聰明，更聰明讓它改良得更快，在幾乎沒有時間差的情況下變得遠超人類。Brown 說他不認為我們正走向這個劇本。原因是：現在的模型要發揮最強能力，需要大量的推算時間，時間本身就是瓶頸，沒辦法壓縮成一瞬間。但這個理由翻過來看同樣成立：正因為需要大量時間，今天的模型有多少潛力根本沒被探索過。他舉了一個例子：OpenAI 用內部模型推翻了一個數學界研究多年的猜想，而且花費其實不高；事後有人發現，用已公開的 o3 模型，透過適當引導，也能得出同樣結果——只是從來沒人試過花那個預算去問。

◎模型會優化程式碼，但還不會做研究

Brown 用他自己的撲克 AI 開發經驗當試金石。他說 o3 系列能把他博士論文裡的演算法加速十倍甚至百倍，效率之高讓他回頭看自己當年的程式碼覺得汗顏。但他接著問模型：你能不能提出一個比現有文獻更好的演算法？答案是不行。模型可以整理現有研究，優化已知方法，但提出真正新穎的方向，也就是他說的研究品味，目前還不行。他認為這個能力會隨模型迭代逐漸改善，但現在的狀態是：模型是很強的執行者和加速器，還不是獨立的研究者。對一個總經理來說，這個判斷的實際意義是：AI 工具現在最大的價值在於讓你的人做得更快，而不是取代你的人去想方向。

Brown 這場訪談最值得帶走的一句話，是他對評測現狀的描述：大家都知道現在的做法有問題，但大家都在等別人先改。這個描述不只適用於評測方法，也適用於安全框架，甚至適用於整個產業對模型到底有多強這個問題的態度。模型每兩三個月更新一輪，但沒有人真的知道上一輪的天花板在哪裡。跑得快不代表跑得清醒。