訪談
AI 名人觀點
重要訪談

替你解析 AI 界關鍵人物的重要訪談、對話、演講 — 透過名人的思想看見未來。

165
位人物
245
篇訪談解讀
204
個訪談來源

【專訪】迪倫·帕特爾:AI 雲端的護城河在軟體與安全,不在 GPU

Dylan Patel(迪倫·帕特爾) · AI Infra Summit 訪談,vCluster 頻道(2026-09) · 2026-09-23 ▶ 觀看訪談
名人訪談簡介

AI 基礎設施這個圈子裡有一類人,他們不造晶片,不訓練模型,卻把整條供應鏈摸得比任何人都透。迪倫·帕特爾(Dylan Patel)就是這類人裡最具代表性的一個——他創辦的 SemiAnalysis 是獨立半導體與 AI 基礎設施研究機構,現有一百一十人,追蹤超過兩百家 AI 雲端業者,連 NVIDIA 的晶片規格調整和各地資料中心的電力卡關狀況都在他的資料庫裡。在 AI Infra Summit 這場行業聚會的側邊訪談裡,他說了幾件外界一直以為自己搞懂,其實沒搞懂的事。

每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。

這場對談值得注意的有四個點:第一,算力成本的反直覺真相——token 變便宜,但同一張 GPU 的收益反而在漲;第二,所謂雲端業者之間的差距,軟體層才是主戰場,不是硬體;第三,安全漏洞的嚴重程度已到國家安全級別,卻普遍未獲足夠重視;第四,三年後能活下來的 AI 雲端業者,靠的不是賣 GPU 時間,而是賣 token 推論服務。這四點合起來說的是同一件事:AI 雲端這門生意的護城河,正在從硬體轉移到軟體與信任。

◎token 愈來愈便宜,GPU 卻愈來愈值錢

這兩件事同時成立,而且並不矛盾。迪倫的解釋很直接:產生同樣水準的智慧,需要的模型愈來愈小,小模型跑得快,同一張 GPU 單位時間能吐出的 token 數量暴增。token 單價雖然掉了,但總量成長的速度遠快於單價下跌的速度,所以每張 GPU 的總營收反而是往上走的。結論是:拿現有 GPU 做推論服務,這門生意的邏輯其實在變好,而不是在被壓縮。

◎H100 不等於 H100,軟體層決定你能收多少錢

迪倫·帕特爾:AI 雲端的護城河在軟體與安全,不在 GPU

很多人以為同型號的晶片跑出來的結果都差不多。迪倫在 ClusterMAX 評測中看到的現實不是這樣。軟體設定,網路架構,備援節點的速度,有沒有托管好的 Kubernetes 或 Slurm 作業排程系統——這些東西決定了客戶實際能用到多少算力。金牌與銅牌業者之間的報價差距很大,差異來源幾乎全在軟體與可靠度,不在晶片本身。這對想靠硬體規格競爭的業者是個壞消息,對願意投資軟體的業者是個機會。

◎安全漏洞嚴重到連國家安全機構都曝露其中

SemiAnalysis 實際測試了一批 AI 雲端業者,發現漏洞多到連直接叫模型去找都找得到——可以存取別人的儲存空間,可以進入別人的運算節點,甚至有辦法拿到其他租戶的 Slurm 作業系統權限。更令人不安的是:他們拿到某個資料中心存取權之後,往裡一看,發現同一批伺服器上跑的是某個國家的國家安全機構。多個政府單位的資料,就放在一個任何有技術的人都可能摸進去的環境裡。迪倫的判斷是:這是整個行業目前最被低估的系統性風險,而各國搶著建的主權 AI 雲端,恰好最可能踩到這個雷。

◎三年後還在場上的業者,靠賣推論,不靠賣 GPU 時間

迪倫的預測很明確:GPU 現貨市場會消失,token 現貨市場會存在。這兩句話的意思是:未來客戶要買的是推論結果,不是租算力。能夠把 GPU 效率榨乾,把每張卡的 token 產出最大化的業者,才有辦法在這個市場裡收到最高的每卡收益。對還在思考要不要自建三十人軟體團隊的新興雲端業者來說,這個判斷暗示了一件事:把資源押在推論優化上,報酬遠高於把資源押在基礎建設工具上。

看完這場訪談,我有一個感覺:AI 雲端這個行業正在走一條三十年前電信業走過的老路——初期大家拚硬體覆蓋率,後來發現護城河在服務品質與信任,最後能活下來的是把軟體做扎實的那幾家。迪倫沒有直接說這句話,但他每個論點指向的都是同一個方向:硬體是入場券,軟體與安全才是賺錢的地方。這個結論不複雜,難的是大多數業者現在還沒有足夠的人力去做到。

重要發言 KEY QUOTES 點時間碼即在此播放
[00:30]
迪倫·帕特爾

解釋為何 token 變便宜與 GPU 價值上漲可以同時成立:更小的模型產出相同智慧水準,讓每張 GPU 能處理的 token 總量大增,總營收因此提升,帶動算力本身的價值上漲。

[02:00]
迪倫·帕特爾

介紹 SemiAnalysis 旗下的 InferenceX 開源基準測試與效能優化工具庫,說明推論堆疊的優化涉及大量參數調整,目前已導入 AI 代理程式自動執行超參數掃描。

[04:30]
迪倫·帕特爾

說明 ClusterMAX 評鑑標準:同型號 GPU 在不同雲端業者上的實際表現差異顯著,關鍵因素包括軟體層,網路設定,備援節點速度,托管式 Kubernetes 或 Slurm 的有無,以及整體可靠度。

[06:30]
迪倫·帕特爾

描述安全測試發現:多家雲端業者存在已知但未修補的漏洞,可被用來存取其他租戶的儲存與運算資源;測試中發現某資料中心同時有多個國家安全機構的資料暴露於相同環境。

[11:30]
迪倫·帕特爾

討論算力供應瓶頸的輪替現象:瓶頸在晶片,資料中心空間,電力之間持續轉移;NVIDIA 調降 Rubin Ultra 的 HBM 記憶體規格,緩解了部分晶片端壓力,但電力與土地審批問題仍持續影響整體進度,舉例 Oracle 一座大型資料中心因無法鋪設天然氣管線而受阻。

[15:30]
迪倫·帕特爾

對三年後 AI 雲端存活條件給出明確判斷:GPU 現貨市場將消失,token 現貨市場將興起;能把每張 GPU 的 token 產出最大化,做好推論服務的業者,才能在市場中取得最高收益。

電子報訂閱 ・ NEWSLETTER

看完今天的,讓明天的自己送上門

每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。

已出刊 128 期 ・ 隨時可退訂

訪談出處
訪談名稱 AI Infra Summit 訪談,vCluster 頻道(2026-09)
講者 Dylan Patel(迪倫·帕特爾)
日期 2026年9月
觀看原始訪談 ↗

迪倫·帕特爾 的更多觀點

MORE
2026年8月 Dylan Patel:兩家實驗室正在吃掉全世界的算力 → 2026年3月 Dylan Patel:算力不缺錢,缺的是荷蘭那 70 台機器 →