【對談】Nvidia 和 Google 都說護城河還在，但都承認它正在縮小

這場對談有五個值得說的地方。第一，這波熱潮為什麼不是泡沫，有具體的判斷依據。第二，GPU 和 TPU 看起來越來越像，但兩人都不同意，分歧在哪裡說得很清楚。第三，軟體護城河正在縮小，兩人都承認，但縮的速度和原因值得細看。第四，效能每年翻倍的來源快用完了，接下來靠什麼撐。第五，能源才是真正的瓶頸，不是晶片也不是記憶體。合起來的意思是：這個行業現在還在高速跑，但跑法要變了。

◎這次不是超級電腦熱，是真的有人買單

Bill Dally 做了一個很直接的對比。1990 年代超級電腦熱潮，背後是美國國防高等研究計畫署的補貼，下游市場根本不存在，Thinking Machines 這類公司最後幾乎全倒。那時候的應用是幾百萬行的老程式，你把某個運算核心加速了，其餘 99% 沒加速的部分還是會把你拖死。現在不一樣。Transformer 架構（當前大型語言模型的基礎結構）相對簡單，加速幾個核心運算就能讓整個模型跑快，而且需求是真實的商業需求，不是政府補貼撐起來的幻覺。Norm Jouppi 補了一個數字：Google 明年資本支出一千零五億美元，其他幾家大公司投入的規模類似。這不是在說好聽話，這是在說誰在付帳。

◎GPU 和 TPU 不一樣，但不一樣的地方不在你以為的地方

有人說兩者已經收斂成同一種設計：最大的運算晶片，外圍塞滿高頻寬記憶體 HBM，再用最快的連接介面串起來。Bill Dally 和 Norm Jouppi 都不買帳，但理由很有意思。Norm 說 TPU 從第二代開始就把自己定位成超級電腦，一開始就有 3D 環形網路（一種讓大量晶片高效互相溝通的連接拓撲），沒有走過 GPU 那種從遊戲繪圖機慢慢加功能的路，所以沒有歷史包袱。Bill 則說 Nvidia 有 68% 的市場份額，代表它要讓幾百個客戶都滿意，硬體裡有很多為了不同客戶需求塞進去的功能。他說他有點羨慕 TPU 只要服務一個客戶（Google 自己）的處境。這句話說得很坦白——規模大了，反而不自由。

◎軟體護城河正在被填平，兩人都這樣說

過去 Nvidia 靠 CUDA（一套讓開發者把 GPU 當通用運算工具使用的程式環境，2006 年推出）和多年調校的函式庫建起一道軟體護城河，競爭對手就算拿到晶片也很難在軟體上追上來。但 Bill Dally 說，如果你手上有那個函式庫的規格文件，現在叫 Claude 去重寫一個，難度已經不高了。Norm Jouppi 同意。兩人的結論一致：護城河還在，但越來越淺，AI 程式碼生成工具正在把它填平。這對 Nvidia 來說是個值得正視的訊號，因為軟體生態一直是它被認為最難複製的優勢之一。

◎效能每年翻倍，但低精度這顆果子快摘完了

Bill Dally 說，從 2012 年的 Kepler 架構算起，Nvidia GPU 的 AI 運算效能每年大約翻一倍，14 年下來，其中只有 3 倍來自製程進步，其餘靠的是把運算精度從 FP32 一路壓到 FP8，FP4（數字越小代表每次運算用的位元數越少，速度越快但精度越低），以及稀疏性（利用神經網路大量數值接近零的特性跳過無效運算）等架構創新。但他也說，精度這條路快走到底了，接下來要靠稀疏性，電路設計，記憶體局部性等其他方向繼續撐，他估計還有四到五個世代的空間，說完自己加了一句：然後我就可以退休了。

◎最大的瓶頸不是晶片，是電

現場觀眾投票，最多人選的瓶頸是能源供應。Norm Jouppi 解釋，現在有人在談蓋一千百萬瓦甚至五千百萬瓦的資料中心，問題是輸電線的環評很難過，社區不歡迎大型電塔，所以很多大型雲端業者轉向在資料中心現場自建電力，用風能和太陽能。但太陽能晚上沒有，風能不穩定，儲能又是問題。他提到熱能電池（一種用熱能儲存電力，成本比鋰電池低的技術）有一些進展。天然氣雖然便宜，但碳排放是問題。核能被提到了，他的評語是：即使加上碳封存，天然氣的每度電成本還是很難被核能打敗。這個問題沒有乾淨的答案，但它是真正的限制，不是晶片產能，不是記憶體。

看完這場，你可以得到一個很清楚的結論：這波 AI 熱潮的競爭，早就不只是誰的晶片跑得快。系統整合能力，能源取得，對未來模型走向的判斷，這些才是真正的差距所在。Nvidia 和 Google 都說自己有優勢，但兩人都承認軟體護城河在縮小，效能提升的低垂果實快摘完了，接下來要爬得更高才能繼續往前。這個行業還在高速跑，但跑法確實要變。