【座談】理查·薩頓稱AI能力指標全是假的，卻未提出更好答案

這場座談有幾個值得說的點：第一，薩頓正面開炮，說 METER 指標完全是假的，理由是出指標的機構本身有立場；第二，Niamh 不願跟著炮打，提出更務實的替代思路——用開放世界場景取代固定工作流；第三，Gildert 給出最接地氣的替代指標——看 LinkedIn 上軟體工程師職缺數；第四，主持人當場指出一個尷尬：問了一圈，沒有人能提出比 METER 更好的替代方案；第五，薩頓的核心矛盾被主持人抓住：他一邊說不要把一切壓縮成一個數字，一邊卻承認強化學習的核心正是把目標壓縮成一個獎勵數字。合起來這場在說的是：我們批評指標很容易，填補它很難，這個困境比 AI 本身更值得你留意。

◎薩頓說這個指標是假的，他說對了一半

薩頓的炮火很準：METER 的設計機構本身有安全倡議的立場，它有動機讓數字看起來增長快，讓外界感到威脅。他說，你可以輕易反過來用另一種任務選法，讓同樣的模型看起來毫無進步。這個批評刺在點上——指標設計者永遠可以選擇對自己敘事有利的任務集合。但薩頓的問題是他走得太遠：他說模型只是在跟著人類範例走，沒有真正的心智，沒有目標，然後結論跳到所有指標都是壞的。這個跳法太快。批評一個指標的設計偏誤，和主張沒有任何指標能反映真實進展，是兩件不同的事。

◎每4個月翻倍，但翻的是什麼

Niamh 從逐字稿裡給出了一個具體數字：在 GPT-2 前後的早期，METER 所測量的能力大約每7個月翻倍；2024 年以後，這個速度加快到每4個月翻倍。光看數字很驚人，但 Niamh 自己也踩了一腳煞車——她的問題是：這到底是模型變聰明了，還是電腦本來就比人快，而工作流設計者越來越會挑對電腦友善的任務？她的觀察更實際：她自己用 AI 代理人工作時，把自動跑完所有步驟關掉，改成每段結束要她按確認，因為一百次裡有一次模型會做出根本性的錯誤判斷。任務越長，這個錯誤累積的風險就越高。這才是真正的能力邊界，數字看不出來。

◎Niamh 的替代思路：把模型丟進虛擬村莊

Niamh 沒有只是批評，她說她和朋友正在做一件事：把多個 AI 代理人放進一個類似《模擬市民》的開放世界環境，讓它們像人一樣面對資源有限，決策有後果，歷史無法改寫的情境。你要競選村長，你要經營市場攤位，當供給出現衝擊時你怎麼辦——借錢，求助，還是走歪路？這個設計的邏輯是：真正的能力不是跑完固定流程，而是在開放，有壓力的情境下，暴露出模型的真實特性。她認為這種場景測出來的東西，比計時任務更能幫助企業判斷我到底在招募什麼樣的 AI 員工進來。但這套方法目前還在實驗室裡，距離變成業界通用標準還很遠。

◎主持人問了最關鍵的問題：那你說，該用什麼？

主持人在第28分鐘做了一件很聰明的事：他不跟著繼續批評 METER，而是直接問每個人你覺得什麼指標更好。結果：薩頓說數字本質上就是壞的，沒給答案；Niamh 說放進開放場景觀察，但承認這沒有單一數字；Gildert 給了最具體的答案——看 LinkedIn 上軟體工程師職缺數，需求掉了就代表 AI 真的在替代人力。主持人最後說了一句話值得記住：SAT 考試有很多人批評它不準，西方很多學校廢掉了，但廢掉之後發現沒有它更糟，現在又陸續恢復。換句話說，壞的指標不是沒有指標的理由。

薩頓批評指標，Niamh 提出開放場景，Gildert 看職缺數——三個人都說了有道理的話，但三個人加起來也沒有填上 METER 留下的空位。這場座談最誠實的結論其實是主持人說的那句話：沒有完美指標，不代表可以沒有指標。對你這位總經理來說，實用的判斷是：不要把任何單一 AI 能力排行當作採購或投資的依據，但也不要因為指標不完美就放棄追蹤。Gildert 那個看職缺數的直覺，其實比大多數研究報告更接近你真正需要知道的事。