【對談】傑夫·迪恩：AI 自我改進不會無限加速
AI 會自己越改越強，衝到停不下來嗎？史丹佛 HAI 研討會的閉幕場，台上是傑夫·迪恩（Jeff Dean）。他在 Google 待了 27 年，共同帶領過 Gemini，現在和老同事創辦 Discovery Loop，讓 AI 自動跑實驗。HAI 創所所長李飛飛（Fei-Fei Li）說，AI 自我改進被炒得像能無限加速。她問他：這股炒作裡，哪些是幻想？
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
傑夫·迪恩說，AI 自我改進會加快，但不可能無限加速。可是 AI 不用睡覺，為什麼不能一路加速下去？他的答案，落在工程現場最平凡的一件事上。他也談到要讓專家的生產力翻幾十倍，以及 AI 解出數學難題後留下的空缺。
◎自動化省得掉等待，省不掉電腦運算本身
李飛飛先替觀眾數了一遍：從她讀研究所起，這個概念換過好幾個名字，現在叫 RSI，也就是遞迴式自我改進。她說矽谷用得太隨便，身為科學家她看了不舒服。傑夫·迪恩用醫學影像當例子：給系統一堆核磁共振資料，叫它自己試模型，把準確率往上推，這只是自我改進。要能回頭改良那個負責出主意的系統本身，才算遞迴。
他接著講現實。過去十幾年，模型變強靠的是研究員跑大量小實驗，留下有用的點子，Gemini 2 就是這樣接在 Gemini 1 之後。自動化確實能加快這個過程。實驗半夜兩點跑完，人早上八點才進辦公室看，機器卻能立刻判讀，決定下一步，甚至替整個大專案做出比個人更好的取捨。
但他把話停在物理上。改良基礎模型要真的訓練，真的實驗，電腦得把運算跑完，把資料存好，再讓另一個模型看結果。他說：「some people have this illusion that you're going to be able to run this loop infinitely fast.」（有些人有個錯覺，以為這個循環能跑得無限快。）他直說這不太可信。
李飛飛接著拿自己下廚打比方。她說自己很不會做菜，煎蛋捲第一次全燒焦，十次後才勉強能吃，孩子還不肯吃。這是自我改進。要是過程中連大腦都被改造，才是遞迴。傑夫·迪恩回答，人兩種都是：學會煎蛋，也學會怎麼學。他承認自動化一定會加快改進速度，但說用工程眼光看，事情就沒那麼可怕。能快到什麼程度，他在這段沒有給數字。
◎他要的不是取代人，是讓專家快 20 到 50 倍
既然循環不會無限快，Discovery Loop 押的是讓人變快。傑夫·迪恩說，蓋飛機這類大工程，難在一開始怎麼分工。他想讓少數領域專家，靠系統自動拆出子問題，同時跑上萬個實驗。公司已有約 20 個自動改進循環在跑，先做機器學習研究，機器學習工程和硬體設計，醫療之後再做。目標是讓專家生產力提高 20 到 50 倍。
◎AI 解出數學難題，卻沒人看得懂證明
速度之外，李飛飛提到另一種代價。她說看到 AI 接連解出數學難題，心情很複雜，因為數學家在證明裡也看見美。傑夫·迪恩接話，這些證明常是 500 頁的 Lean，一種讓電腦逐行檢查證明的語言。機器驗過，卻沒人懂那條簡潔的路。他說優雅的解法常帶出能用在別題的新技巧。但知道一題可解，會逼人去找更漂亮的解法。
回到那個疑問：AI 不睡覺，為什麼不能一直加速？傑夫·迪恩的回答是，省得掉的是人等待的時間，省不掉的是電腦算完，存好，再判讀的時間。接下來可以觀察 Discovery Loop 那約 20 個自動改進循環，在機器學習和硬體設計上交出什麼成果，以及專家產能 20 到 50 倍的目標能否兌現。
說明 Discovery Loop 的使命：打造能自動解決機器學習，科學與工程重要問題的 AI 系統，並自動化提出實驗，執行，看結果，決定下一步的循環。
提到自己曾管理多達約 4,400 人的 Google 研究與 AI 團隊，後來發一封信把直屬部屬降到四人。
公司已有約 20 個自動改進循環在運作，目標是讓領域專家生產力提高 20 到 50 倍，並強調不是要把人拿掉。
列出這個概念多年來的各種名稱，請他區分自我改進與遞迴式自我改進，說要把虛構和事實分開。
以實驗凌晨兩點跑完，研究員早上八點才看為例，說自動化能加快改進，但運算受物理限制，認為循環能無限快是錯覺。
用自己學煎蛋捲比喻自我改進與遞迴式自我改進，Jeff Dean 回應人類兩者都是，因為人也會學怎麼學。
說明目前專注能整個在數位環境完成的領域：機器學習研究，機器學習工程與硬體設計，醫療之後再做。
回顧蒸餾論文曾在 2016 年被 NeurIPS 退稿，後來約有 40,000 次引用，並承認沒料到程式能力會成為模型變強的關鍵。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 160 期 ・ 隨時可退訂
