【對談】Chollet:AI 評測標準已飽和,下一關要測的是發明能力
AI 圈現在最熱的辯論不是誰的模型更強,而是我們還能怎麼測量它。François Chollet 是這場辯論裡最有資格開口的人之一——他是 Keras 深度學習框架的作者(Keras 是全球使用最廣的 AI 開發工具之一),也是 ARC Prize 基金會的創辦人,專門設計用來測試 AI 是否真正具備通用智能的評測標準。他在 Frontier Data Summit 上坐下來談的,不是哪家公司又破了什麼紀錄,而是一個更根本的問題:當 AI 在所有我們能想到的考試裡都拿滿分,我們下一張考卷要怎麼出?
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場對談圍繞四個核心點展開:第一,現有評測標準已經快被 AI 考爆,必須整個換方向;第二,真正缺的不是技能,而是發明能力——在完全開放的環境裡產出可重複使用的洞見;第三,強化學習(Reinforcement Learning,讓 AI 透過反覆嘗試與獎懲來自我改進)這條路能走多遠,Chollet 自己也沒把握;第四,AI 做科學研究這件事,不能關起門來搞,要像人類科學界一樣開放協作。合起來看,他的意思是:AI 的下一關不是更快解題,而是能不能出題。
◎評測標準快被考爆,下一張卷要怎麼出
Chollet 的說法很直白:凡是有時間限制,有固定答案集的評測,現在都快撐不住了。他說現有的標準已經飽和,模型在幾乎所有我們能設計的任務裡都表現得夠好,繼續測技能已經沒意思。他目前主導的 ARC 系列評測(ARC 是 Abstraction and Reasoning Corpus 的縮寫,設計來測試模型面對從未見過的新問題時的應變能力)正在往第四代推進,預計明年第一季發布,目標是開始捕捉開放式創新;第五代則更有野心,要正面處理開放性與創造力。問題是,開放式評測的代價是成本和難度都大幅上升,但他的立場很清楚:沒有選擇,因為簡單的全被考完了。
◎AI 缺的不是解題速度,而是發明能力

Chollet 把目前頂尖模型還欠缺的東西分成兩類:一是在完全開放環境裡操作的能力,二是真正的發明——產出可以被反覆使用的洞見,而不只是針對單一問題的一次性技巧。他打了個比方:數學家不只是解題,他們建構一整套可以遷移到新問題,甚至新領域的工具。歷史上有些純抽象的數學理論,後來變成描述物理現實的完美語言,這種意外的遷移性才是真正的知識創造。他說如果要評測這件事,就要看模型產出的東西能不能壓縮,能不能被重用——用資訊理論的語言來說,真正的洞見應該是簡潔的,而且能打開更多可能性,而不是讓問題空間更複雜。
◎強化學習能走到哪,Chollet 自己也沒答案
主持人問強化學習(RL)是不是通往通用智能的正確路徑,Chollet 的回答很誠實:它現在有效,所以大家當然繼續用,但它能不能帶我們到愛因斯坦等級的科學家,他不確定。他說他自己做研究的方式是先在腦子裡建一個對問題的心智模型,下一個想法從那個模型裡長出來。但現在的模型不是這樣運作的——它看當前狀態,預測下一步,比較像在程式碼空間裡下棋,而不是真的有洞見。他也搬出了一個有意思的人類心理學研究:1980年代就有人研究,學很多程式設計會不會讓你在其他領域解決問題的能力也變強?答案是不會。技能遷移只發生在相似的任務之間,不會跨越太遠。這個問題放到 AI 身上,他說目前沒有人知道答案。
◎AI 做科學,不能關起門來搞
Chollet 對現在 AI 用於科學研究的方式有個明確的批評:頂尖的研究都在閉門進行,用的是不公開的私有模型,結果無法被重現,也無法被驗證。他說這根本不是真正的科學——深度學習本身是怎麼發展起來的?Transformer 架構是怎麼來的?都是開放的集體努力,是來自不同機構的成千上萬個研究者共同推進的。他認為 AI 用於科學研究也必須走同一條路:需要一個開放的基礎設施,讓任何人都能貢獻問題,貢獻算力,讓不同的 AI 代理人(agent)可以共享中間結果。他甚至說,未來 AI 科研的主要形式會是代理人群體協作,因為人類最大的科學突破從來不是一個天才單打獨鬥,而是集體工程。
Chollet 這場談話的底層邏輯只有一句話:我們正在用 20 世紀的考試方法,測量一個可能已經超出那個框架的東西。評測標準飽和不是壞消息,是訊號——告訴你下一個真正的問題在哪裡。他還沒有完整的答案,但他至少把問題問對了。對你來說,這場對話的實用意義是:當有人拿著某個 AI 評測成績來跟你說這模型已經超越人類了,你現在知道該反問的是:這張考卷,出題的人自己打幾分?
說明評測標準與模型開發應該同步演進,當兩者的差距歸零,就是 AGI 到來的時刻;目前他認為還有兩個能力明顯缺失:發明能力與在開放環境中操作的能力。
提出用可重複使用性來評測 AI 洞見的品質:如果每一步都是針對單一問題的一次性技巧,就沒有真正的洞見;真正有價值的知識應該能壓縮,能遷移到新問題。
討論強化學習專注在數學和程式設計是否能遷移到通用問題解決能力;如果能,就是通往超級智能的快速通道;如果不能,只會產出在單一領域超強但缺乏通用性的系統。他說他日常使用這些工具的感受是後者。
引用 1980 年代的心理學研究:大量學習程式設計並不會讓人在其他全新領域解決問題的能力變強;技能遷移只發生在相似任務之間,不會跨越太遠。他把這個問題類比到 AI 上,表示目前沒有答案。
批評目前 AI 用於科學研究的方式:頂尖研究都在閉門進行,使用不公開的私有模型,結果無法重現。他說需要一個開放的基礎設施,讓代理人群體能共享中間結果,類似人類科學界的集體協作模式。
透露 ARC-4 預計在明年第一季發布,目標是捕捉開放式創新;ARC-5 則是更完整的開放性願景。他說如果要真正測出通用智能,領域專項評測是不夠的,必須在更抽象的層次上測試洞見生成能力。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 165 期 ・ 隨時可退訂

