【對談】傑夫·迪恩離開 Google 的第一場對談：AI 自動做科學，十人公司的賭注

這場對談值得說的點有四個。第一，MoE 架構——幾乎所有頂尖 AI 模型背後的設計邏輯——的發明者親口解釋它為什麼有效，這不是教科書，是原始動機。第二，TensorFlow 的設計後悔清單，迪恩主動交代了哪裡做錯，對任何正在做開源工具的人都是實用教訓。第三，Discovery Loop 的創業邏輯，他把AI 自動做科學實驗說得非常具體，不是願景稿。第四，為什麼頂尖人才持續往新創跑，即使大公司在算力和資料上明顯佔優——他的答案直接，也有點讓大公司難堪。合起來看，這場對談的底色是：一個真正懂系統的人，在離開最大的系統之後，說了哪些他在裡面說不清楚的話。

◎MoE 不是技巧，是一個關於效率的基本直覺

Mixture of Experts（MoE，混合專家架構）的核心想法是：模型不需要每次都動用全部的計算資源，只要針對當前的輸入，啟動最相關的那一部分就夠了。迪恩用大腦打比方——處理莎士比亞十四行詩的神經迴路，和你開車時看到垃圾車倒退不會同時激活。這個架構讓訓練效率比當時主流的 dense model（每次都全部啟動的模型）高出十倍。十倍這個數字他說得很輕，但在工程圈，看到十倍改善就代表這件事遲早會變成標準。現在幾乎所有前沿 AI 模型都採用這個設計，包括 GPT 系列。他 2017 年在會場邊跟黎明宋解釋這篇論文時，她自己說沒有預見到這件事的影響力。這不是謙虛，是真實的時間感——好的基礎架構需要幾年才會被看見。

◎TensorFlow 做對了開源，做錯了那個叫 contrib 的資料夾

TensorFlow 是 Google 在 2015 年開源的深度學習框架，讓全球的研究者和開發者可以用同一套工具訓練 AI 模型，不必自己從頭搭分散式系統。迪恩說，開源這個決定是對的，讓論文附帶可執行程式碼這件事變成業界慣例，省掉無數人從文字描述重建實驗的時間。但他主動認錯了一件事：他們在開源版本裡開了一個叫 contrib 的子目錄，讓外部貢獻者放各種輔助工具進去，結果同一件事有十種做法，社群不知道該用哪個。他說，如果重來，這個目錄不會存在，那些東西應該是建在核心之上的獨立套件。這個失誤的本質是邊界管理——開放是好事，但沒有邊界的開放會製造混亂。

◎Discovery Loop 的賭注：讓 AI 自己跑科學實驗

迪恩的新公司 Discovery Loop 是一家公益公司（public benefit corporation），四位共同創辦人——迪恩，桑傑·格馬瓦特（Sanjay Ghemawat），奧里奧爾·文亞爾斯（Oriol Vinyals），郭樂（Quoc Le）——兩兩之間的合作年資從十四年到三十年不等，幾乎是同一批人把 Google 的技術基礎蓋起來的。他們要做的事是：把科學研究的流程自動化——提出假設，設計實驗，執行，評估，再迭代。迪恩說，這個流程本質上就是科學方法，也是工程設計的基本循環，而 AI 現在有能力把每一個環節都加速。目標是把一次實驗迭代從一天或一週壓縮到一分鐘或一小時，同時並行跑幾千個實驗，再用回饋決定下一步跑什麼。這不是新概念，他們自己做過的神經架構搜尋（neural architecture search）就是早期版本。Discovery Loop 要做的是把這個邏輯擴展到更多科學領域。十個人，Palo Alto 的辦公室，這是他的描述。

◎大公司算力更強，人才為什麼還是往新創跑

現場有工程師直接問了這個讓大公司尷尬的問題。迪恩的答案是：雲端運算把基礎設施的門檻拉低了。一個小團隊現在可以花錢租用 Google Cloud 或其他雲端平台的算力，不需要自己蓋資料中心。這讓有想法但沒有大公司資源這個障礙縮小了很多。他也說得很直白：十個人全心做同一件事，比大公司裡一個團隊要同時應付各種內部優先順序，切穿雜訊的速度快得多。他沒有說大公司不好——他在 Google 二十七年，交情和資源都擺在那裡。但他說的意思很清楚：專注本身就是競爭優勢，而大公司的結構性問題就是很難真正專注。

迪恩在 Google 蓋了二十七年的地基，現在他要用同樣的方法論蓋一棟新的。他的邏輯從來不複雜：找到那種五個方向已經有眉目，兩個方向還沒答案的問題，然後壓上去。Discovery Loop 現在就是這個形狀的賭注。至於 Gemini 需不需要追上什麼，他沒有正面回答。