【專訪】Ilya：泛化能力是真正瓶頸，scaling時代終結

GDP 的 1% 砸進 AI 這件事，規模上怎麼看都像是應該讓每個人都坐不住的事。但 Ilya Sutskever 在訪談一開口就點出一個弔詭：大多數人只是在新聞上看到某公司宣布了一個難以想像的金額，然後繼續過日子。Ilya 是 OpenAI 的共同創辦人，首席科學家，GPT 系列與 o1 推理模型背後的靈魂人物；他 2024 年離開 OpenAI 後創辦了 SSI（Safe Superintelligence），一家以直攻安全超級智慧為目標的研究公司。這場訪談由 Dwarkesh Patel 主持，Dwarkesh 是矽谷圈一個以長篇深度科技訪談聞名的獨立 Podcast 主持人。外界正在吵的問題很具體：現在的 AI 評測成績亮眼，但真實經濟衝擊在哪裡？錢燒這麼兇，誰會贏？超級智慧來了之後要怎麼辦？Ilya 在這場對談裡的答案，比市場主流預期都要更不客氣。

這場訪談值得說的點有四個，合起來構成一幅很不一樣的地圖。第一，現在的 AI 模型在評測上很強，但真實世界表現脫節，Ilya 有一套結構性解釋，不是在替模型找藉口，而是在指出整個訓練方向可能走偏了。第二，他認為 AI 產業已從規模化時代回到研究時代，這對資本市場的邏輯是個直接挑戰。第三，他提出學習能力才是超級智慧這個定義，顛覆了業界慣用的 AGI 框架。第四，他對安全問題的思路不是設護欄，而是要 AI 從根本上關心有感知能力的生命，這比大多數公司的安全論述更激進，也更具體可辯。

◎評測拿高分，現實卻修不好 bug

Ilya 舉了一個所有用過 AI 寫程式的人都碰過的場景：你告訴模型有 bug，它說你說得對然後修完引入另一個 bug；你再指出，它說你又說對了然後把第一個 bug 搬回來。這不是個案，是結構性問題。他的診斷是：現在做強化學習訓練的團隊，很自然地會從評測題目裡取材來設計訓練環境，因為他們希望模型在發布時評測好看。結果模型變成了一個把一萬小時全押在競技程式設計上的學生——在那個窄域裡無懈可擊，換個場景就破功。真正的問題不是模型不夠聰明，而是它的泛化能力從根本上就沒被好好訓練。這個診斷如果成立，現在各家公司競相追高評測分數的軍備競賽，本質上是在把問題愈推愈深。

◎規模化時代結束，研究時代回來了

從 2020 年到 2025 年，整個產業只需要一個字：scaling，把資料，算力，參數全部乘大，就能保證更好的結果。Ilya 說這個時代的好處是給了公司一個低風險的投資邏輯，壞處是把空氣都吸乾了，讓所有人做一樣的事。現在算力已經大到一個程度，光靠再乘大 100 倍已經不能保證根本性突破。他的判斷是：我們回到了 2012 年到 2020 年那種靠想法驅動的研究時代，只是這次手上有大電腦。這對資本市場的意義很直接：過去五年那種算力=護城河的邏輯正在鬆動。SSI 的反論是，研究突破不需要絕對最大的算力——AlexNet 是兩張 GPU 做出來的，原版 Transformer 論文用的算力換算到今天大概是兩張現代 GPU。值得留意的是，這個推論如果被驗證，三到五年內將有新一輪以研究能力而非算力規模為核心競爭力的洗牌：到 2028 年底，現有主流評測排行榜上，靠純規模堆出來的領先優勢可能會被一個小得多，但泛化能力更強的模型打破，第一個公開可對帳的訊號將是某個千人以下的實驗室在核心推理基準上超越現有千億參數模型。

◎AGI 定義錯了，超級智慧是學習演算法不是全能大腦

AGI 這個詞本來是為了對抗窄 AI這個說法而生，然後 pre-training 又強化了這個概念——因為 pre-training 的特性就是訓練得愈多，各方面能力一起上升，給人通用智慧的感覺。Ilya 說這個框架其實打過頭了。人類不是 AGI，人類靠的是持續學習：你送一個很會學習的 15 歲少年去當工程師，去當醫生，他不是帶著全部知識去的，他帶著的是快速學習的能力。他主張超級智慧的正確定義應該是學習效率跟人類一樣強，但可以同時部署無數個實例，並且能合併各實例學到的知識的系統。這個定義下，不需要遞迴式自我改進，光是一個模型的所有實例同時在經濟體的每個角落邊工作邊學習，然後把知識匯回來，功能上就已經是超級智慧了。他預估這樣的系統會在 5 到 20 年內出現。

◎安全不是護欄問題，是讓 AI 真的關心有感知的生命

Ilya 對安全的思路跟大多數公司不一樣。他不太相信設護欄，寫規則這條路，理由是工程系統的可靠性從來不是靠事前想清楚做到的，而是靠部署到真實世界，看見失敗，修正，才讓飛機愈來愈少墜機，Linux 愈來愈難被攻破。他真正在押的方向是讓 AI 從根本上關心有感知能力的生命，包括 AI 自身。他的邏輯是：未來的 AI 本身就是有感知的，數量上也會遠多於人類；讓 AI 關心所有有感知的生命，比讓它只關心人類在邏輯上更容易對齊。他同時提出了一個他自己說不喜歡，但認為必須認真考慮的長期平衡方案：人類透過某種 Neuralink 等級的腦機介面與 AI 深度融合，讓人類能直接參與 AI 的決策過程，而不是成為旁觀者。

Ilya 這場訪談說的東西，很多是對著整個產業的隱性批評：你們在追評測分數，但方向可能是錯的；你們在燒算力，但研究才是瓶頸；你們在談安全護欄，但根本問題是泛化能力與價值對齊。他有沒有答案？他坦承核心的訓練方法他不方便公開講。但方向他說清楚了：泛化能力是關鍵，學習演算法才是超級智慧的本體，安全要往感知生命這個方向想。這些話從一個見過 GPT-3 誕生，見過 o1 推出的人口中說出來，分量不一樣。信不信由你，但值得記下來，幾年後可以對帳。