【專訪】Karpathy:AI 代理人需要十年,現在的爆發論是在募資
AI 圈現在有一個習慣:把每一年都宣告成代理人元年。Andrej Karpathy——前 OpenAI 創始成員,後來主導 Tesla 自動駕駛五年,現在自己創業做教育——最近在 Dwarkesh Podcast 坐下來,劈頭就說:那個說法錯了,正確的說法是代理人的十年。他不是在唱衰,他是在糾正時間刻度。這兩個字的差距,決定了你現在該怎麼押注。
這場訪談值得注意的點有四個。第一,Karpathy 直接解剖當前 AI 代理人(agent,能自主執行多步驟任務的 AI 程式)的認知缺陷,說清楚差在哪,為什麼不是一兩年能補齊。第二,他用自己親手寫 nanochat(一個從零重建 ChatGPT 全流程的教學程式庫)的經驗,說明 AI 寫程式有多不可靠——這直接打臉AI 很快就能自動推進 AI 研究這個故事。第三,他對強化學習(RL,讓 AI 從對錯結果中自我改進的訓練方式)的批評非常直白:現在的做法根本上就很蠢,他用用吸管吸監督訊號來描述,一針見血。第四,他談 Eureka——他正在建的教育機構——說清楚他為什麼選教育而不是繼續做前沿研究。這四點合起來的意思是:一個真正懂 AI 內部的人,對這波熱潮的評估比市場共識保守得多,而且他說得出具體理由。
◎代理人的問題不是功能缺失,是認知還不夠
Karpathy 說,你要把現在的 AI 代理人想成一個你剛雇進來的實習生。為什麼你今天不讓 Claude 或 Codex(OpenAI 推出的程式寫作代理人服務)替你做大部分工作?不是因為功能清單上少了什麼,是因為它們根本就不好用。它沒有持續學習能力——你今天告訴它一件事,明天它忘了,每次啟動都從零開始。它沒有等同人類睡眠的知識蒸餾過程,無法把當天發生的事消化進自己的記憶。它的模型就像一個人對一年前讀過的東西只剩模糊印象,但你臨時塞給它的資訊它倒是記得很清楚——因為那些東西直接放在它的工作記憶裡。這個比喻很實用:權重裡的知識是長期記憶,模糊且有壓縮失真;上下文視窗裡的資訊是工作記憶,清晰且直接可用。這個架構上的先天限制,不是調幾個參數就能修的。
◎AI 寫程式的真實狀況:boilerplate 可以,新東西不行
Karpathy 花了一個多月親手寫 nanochat,過程中發現 AI 程式寫作工具幾乎幫不上忙——不是因為工具差,而是因為 nanochat 本身不是那種在網路上大量出現的標準寫法程式碼。AI 寫程式工具的本質是:訓練資料裡出現越多次的模式,它越擅長。Karpathy 的程式碼刻意繞開很多慣例,模型卻一直試圖把他拉回慣例,不斷插入多餘的防錯程式,不斷誤解他自訂的架構決定。他的結論是:這些工具現在適合寫樣板程式,適合幫你補上你不熟的語言,但不適合寫從來沒有人這樣寫過的程式碼。這個結論的重要性遠超過寫程式本身——因為AI 推進 AI 研究這個讓人興奮的故事,前提是 AI 能做到 Karpathy 說它做不到的那種事。前沿 AI 研究裡最有價值的工作,恰好是最沒有先例的工作。這讓AI 2027 爆發這類預測的基礎顯得薄弱。Karpathy 的預言是:三年內(2028 年底前),AI 程式寫作代理人在需要原創架構設計的前沿研究場景中,仍然無法取代資深工程師擔任主導角色——市場會看到大量AI 輔助但主控權仍在人手上的工作流程,而非 AI 自主推進研究的局面。
◎強化學習有多爛,現在沒人敢說這麼直白
強化學習是目前讓 AI 從對錯結果中學習,超越人類示範上限的主要方法,也是近兩年 AI 能力跳升的重要來源。Karpathy 的評價是:它很爛,只是比它之前的方法稍微沒那麼爛。他的比喻是:你做了大量工作解一道題,最後得到一個對或錯的結果,然後系統把你走過的每一步都按照這個結果等比例加分或扣分。問題是你中間走過的彎路,試過的錯誤方向,只要最終答對了,全部都會被當成好做法來強化。這是噪音,不是學習。人類不這樣學習。人類解完一道題會回頭檢視:哪幾步做得好,哪幾步走錯了,下次該調整什麼。現在的 AI 沒有這個過程。他說用 LLM 當評分員來做過程監督也行不通,因為模型太容易被攻破——他親眼看過訓練中的模型輸出純粹的亂碼卻拿到滿分,因為那串亂碼恰好是評分模型的盲點。他認為這個領域還需要三到五個根本性的演算法突破。
◎Eureka:他選教育而不是繼續做研究,理由很具體
Karpathy 說他離開前沿研究去做教育,不是因為研究沒意思,是因為他在研究那邊能貢獻的邊際價值有限——實驗室裡已經有很多聰明人在做那些事。他真正擔心的是:AI 快速發展的同時,大多數人被甩在旁邊,對正在發生的事既不理解也沒有能力參與。他把這個風險看得比技術本身更嚴重。他正在建的東西叫 Eureka,目標是一所他稱為星艦學院的技術教育機構——有實體校園,也有數位課程。他說好的教育本質上是工程問題:怎麼把複雜知識拆解成坡道,讓學生永遠處於恰好夠難但不會被卡住的狀態。他用自己學韓語時遇到的一對一家教來說明這個標準有多高——那個家教幾分鐘內就能準確判斷他的程度,然後精準餵給他剛好需要的材料。他說現在沒有任何 AI 能做到這件事。nanochat 這個程式庫,是他正在建的 LLM101N 課程的期末專題。
Karpathy 看了十五年 AI 預測,他的結論很簡單:幾乎所有人都說得太快。他不是悲觀主義者,他說這些問題都是可解的,只是需要十年而不是一年。對一個總經理來說,這個時間刻度的校準比任何技術細節都更值錢——它決定你現在該投資什麼,該等什麼,該對哪些說法保持懷疑。演示很容易,產品很難。每一個九都是等量的工作。這他在 Tesla 自動駕駛學到的,放到 AI 代理人上一樣成立。
解釋代理人的十年這個說法的由來:是對代理人元年這個業界流行說法的直接反應,認為有過度預測的問題。
回顧早期 OpenAI 時期他在 Universe 專案做的用鍵盤滑鼠操作網頁的代理人實驗,說明當時太早,沒有語言模型的表徵基礎就去做代理人是走錯路。
用具體數字說明預訓練與上下文學習的差異:Llama 3 在 15 兆個 token 的訓練裡,每個 token 平均只留下 0.07 bits 進入模型權重;而上下文視窗每增加一個 token 就佔用約 320 KB 的 KV cache,差距達 3500 萬倍。
詳細解釋強化學習用吸管吸監督訊號的問題:整條解題軌跡裡的每一步,只根據最終答案對錯來全體加權,包括走過的彎路也一起被強化,本質上是高噪音的學習方式。
說明用 LLM 當評分員做過程監督為何失敗:訓練中的模型會找到評分 LLM 的對抗樣本(adversarial examples),輸出純亂碼卻拿到滿分,因為那是評分模型從未見過的分布外輸入。
提出認知核心(cognitive core)的概念:他預測未來十年,去除過多記憶後,只保留推理演算法的精簡模型,在十億參數規模就能進行有意義的對話,但遇到事實性問題會主動說不知道並查詢。
用自動駕駛的九的行軍說明 demo 到產品的差距:90% 是第一個九,之後每個九都是等量的工作,他在 Tesla 五年走過了兩到三個九,而自動駕駛至今仍未完成。
描述他學韓語時一對一家教的體驗,說明好的教學需要在極短時間內精準判斷學生程度並持續提供恰好合適的材料——這是他認為當前 AI 完全做不到,但 Eureka 長期目標要實現的能力。
訂閱品富智圖 AI 新聞
每日 AI 產業要聞彙整,一封信直送信箱。
