【專訪】楊立昆：語言模型走不進真實世界，世界模型才是下一步
台下是大型金融機構負責導入 AI 的主管，一整天都在談部署與治理；遠端連線的楊立昆（Yann LeCun）只有二十分鐘，要大家抬頭看遠一點。他是圖靈獎得主，前 Meta 首席 AI 科學家，今年三月開始營運新公司 AMI Labs，種子輪募得約 10 億美元，他說這是美國以外史上最大的種子輪。
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
他講了三件事。第一，機器會做人類眼中的難題，不代表它聰明；大型語言模型擅長文字和程式，碰到亂糟糟的真實世界卻不管用。第二，他押注的是世界模型，讓機器先預想行動的後果，再規劃怎麼做。第三，他的 JEPA 架構不去猜每個細節，這個想法也適用於充滿雜訊的金融數據。合起來，他認為下一代 AI 不會從大型語言模型長出來。
◎會考律師，會證定理，不等於有智慧
他說，AI 圈七十年來一直犯同一個錯：以為機器做得到人類覺得很難的事，就比人聰明。事實上，處理文字，程式，數學這類一個個分開的符號，對機器反而容易；真實世界是連續，高維，充滿雜訊又難以預測的，大型語言模型在這裡表現並不好。
他舉的反差很直白：有系統能通過律師考試，證明定理，我們卻還沒有家用機器人，連第五級的全自動駕駛車都沒有，更別說像青少年那樣練幾個小時就學會開車。這個落差早有名字，叫莫拉維克悖論。
◎世界模型：先在腦中預演，再動手
他心中的終極檢驗，是人形機器人能做十歲小孩做得到的事。第一次叫小孩清餐桌，把碗放進洗碗機，不需要上千次示範就辦得到。他認為關鍵在世界模型：知道眼前狀態，想像做一個動作，就能預測下一刻的世界，再用最佳化算出完成任務的一連串動作。
長期預測不準怎麼辦？他的答案是分層的世界模型，團隊上週才發表相關論文。人在紐約想明天到巴黎，不必規劃每條肌肉怎麼動，只要知道得去機場；去機場就得上街攔計程車，上街就得走出大樓，一路往下分解，最底層只剩從椅子上站起來。
◎不猜每個細節，只預測能預測的
他的技術叫 JEPA，也就是聯合嵌入預測架構，關鍵在它不是生成式模型。語言模型預測下一個字，可以給字典裡每個字一個機率，影片卻沒辦法這樣做。鏡頭從房間左邊慢慢轉向右邊，系統猜得到鏡頭會繼續轉，卻不可能猜出右邊每個人的長相。
所以 JEPA 把輸入轉成抽象表示，只在那裡預測能預測的部分。他說金融數據也一樣，大多是雜訊，只有一點資訊，系統得能估計自己的不確定性。人類本來就這樣：設計機翼用 Navier-Stokes 方程式，不模擬每顆空氣分子；用 PV=nRT 就算得出盒子加熱 10 度後的壓力。
最後被問到中國，他說這個領域的競賽不像大型語言模型那樣緊繃，但亞洲跑得比較快。中國，日本，韓國，台灣製造業強，對機器人和世界模型很感興趣，相關論文很多來自亞洲，尤其是中國；矽谷則被大型語言模型催眠了。至於 AMI Labs，他預期未來一年左右，會在幾個產業看到成果。
介紹新公司：總部在巴黎，紐約，巴黎有大型辦公室，蒙特婁，新加坡有小型據點；三月開始營運，種子輪約 10 億美元，目前約 65 名員工。
指出 AI 圈七十年來的錯誤：以為機器能完成複雜任務就等於比人聰明。
以律師考試，家用機器人，第五級自駕車對比，說明莫拉維克悖論。
提出長期驗證標準：人形機器人不需大量示範，就能做十歲小孩做得到的家事。
定義世界模型：根據 t 時刻狀態與行動，預測 t+1 時刻狀態，再以成本函數與最佳化規劃行動。
以紐約到巴黎為例說明分層世界模型，並提到上週剛發表相關論文。
解釋 JEPA 不是生成式模型，並以鏡頭轉向房間右側為例，說明逐像素預測行不通。
談金融數據多為雜訊，時間序列預測系統必須能預測自身的不確定性。
回答中國問題：亞洲製造業強，世界模型研究推進比矽谷快。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 157 期 ・ 隨時可退訂
