【對談】傑夫·迪恩的下一題：讓 AI 自己學會做實驗

這場對談值得留意的地方有四個。第一，傑夫·迪恩第一次公開講清楚新公司 Discovery Loop 要做什麼——不是又一家大模型公司，而是要把科學實驗本身自動化。第二，他談了 Mixture of Experts 這個架構（讓大模型只啟動當下需要的部分，大幅降低運算成本）從 2017 年的小眾論文到今天幾乎所有前沿模型都在用，背後是什麼判斷邏輯。第三，他坦承 Gemini 在程式碼能力上起步慢了，這在大公司高層裡算罕見的直話。第四，他給了一個選題框架：找那種五件事快成形，兩件事還不知道怎麼做的問題——太難的別碰，太簡單的不值得。合起來看，這不只是一個工程師的回顧，而是一套他用了三十年，還打算繼續用的決策方法。

◎Discovery Loop 不是在訓練模型，而是在自動化科學方法本身

傑夫·迪恩的新公司叫 Discovery Loop，四位共同創辦人是他合作了 14 到 30 年的老夥伴：Sanjay Ghemawat，Oriol Vinyals，Quoc Le——這三個名字在 AI 圈每一個都有代表作，但對你來說最重要的是這件事：他們不打算再做一個 ChatGPT 的競爭者。他們要做的是把科學實驗的迭代循環本身自動化——提出假設，設計實驗，執行，評估，再提出下一個假設。傑夫·迪恩的說法是：把一次實驗的週期從一天壓到一小時甚至一分鐘，同時跑成千上萬個平行實驗，讓系統自己學會哪些實驗值得做，哪些不值得。這個邏輯其實就是科學方法加上強化學習。他把這家公司登記為公益公司，意思是他保留了做出對公司財務不利但對社會有利決策的空間。聽起來是理想主義，但他說得很直接：發現成果要盡可能廣泛分發。

◎Mixture of Experts：2017 年他就知道這是大事

2017 年的 ICLR 機器學習頂級學術會議上，傑夫·迪恩拿著一篇論文去找當時剛拿到最佳論文獎的 Dawn Song 聊，題目是稀疏門控的混合專家架構（Mixture of Experts）。概念不複雜：一個超大模型裡有很多專家模組，處理每一個輸入時只激活其中最相關的幾個，其他的不動。好處是模型可以做得很大，記很多東西，但實際運算成本不會等比例暴增。他當時就知道這是大事，因為訓練效率比同等大小的密集模型好了 10 倍。現在幾乎所有前沿大模型都在用這個架構，包括 OpenAI 的 GPT-4。看到 10 倍的改善就要認真對待——這是他的基本反射，不是事後諸葛。

◎Gemini 的直話：多模態做對了，程式碼起步慢了

Gemini 是 Google 自家的前沿大模型系列。傑夫·迪恩說，Gemini 一開始最重要的決定是從第一天就把文字，圖片，影片，音訊，程式碼全部放進訓練，而不是先做純文字再慢慢加。他認為這個決定是對的，也是 Gemini 的核心優勢之一。但他也說了一句讓人意外的話：Gemini 早期對程式碼能力的重視程度不夠，落後了一段時間，後來才追上。這很重要，因為程式碼能力不只是寫程式，它是模型學會分解複雜問題，一步一步推理的訓練場。你強化程式碼，推理能力也跟著上來。大公司高層在公開場合承認自己某個方向跑慢了，不常見。

◎選題框架：五件快成形，兩件還不知道怎麼做

有人問他怎麼判斷哪個技術方向值得押注。他的答案不是靠直覺，而是靠一個具體的風險結構：找那種大約五年期的問題，其中五個子問題已經有人在做，隱約看得到輪廓，剩下兩個完全不知道怎麼解。太多不知道的，那是 20 年的題目，不要碰；全都知道怎麼做的，那是工程執行，沒有突破性的意義。他還說了一個習慣：寧可快速瀏覽 100 篇論文摘要，也不要精讀一篇。因為你需要的不是深度，而是在腦子裡建一張夠大的地圖，讓你在面對一個難題時，能把分散在不同角落的線索拉在一起。這是系統性的廣度策略，不是靈感。

傑夫·迪恩離開 Google 去做一家十個人的公司，不是因為大公司不好，而是因為他找到了一個問題，那個問題在小團隊裡跑得更快。Discovery Loop 要自動化的不是某一個科學領域，而是科學本身的迭代方式。這個賭注成不成立，三年內就會看到第一批答案。值得留意的不是他離開了什麼，而是他認為接下來最重要的事是什麼——讓 AI 自己學會做實驗，自己學會改進自己。這條路如果走通，影響的不只是 AI，而是所有需要實驗的領域。