AMD桌上型AI主機記憶體加到192GB,可跑3000億參數模型
AMD 10 月 12 日推出新版 Ryzen AI Halo 開發者主機,搭載 Ryzen AI Max+ PRO 495 處理器,統一記憶體最高 192GB(最多 160GB 可給繪圖晶片),舊版上限 128GB;AMD 稱在 4 位元壓縮下可於本機跑 3000 億參數模型。美國 Micro Center 可訂購,官方未公布售價。
過去要跑這種規模的模型,多半得靠雲端或機房;現在一台比便當盒還小的主機就可能做到,讓不能把程式碼、客戶資料送上雲端的企業,有了在自家桌上跑大模型的選項,也讓 AMD 在這塊市場對輝達與蘋果加壓。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
AMD 把一台比便當盒還小的開發者主機,記憶體一口氣拉到 192GB,並宣稱它不必連上雲端,就能在辦公桌上跑 3000 億參數的大型語言模型。這種規模的模型,過去通常得放在機房的機櫃裡。
這台機器叫 Ryzen AI Halo,10 月 12 日推出新版,核心換成 Ryzen AI Max+ PRO 495 處理器。前一代用的是 Ryzen AI Max+ 395,記憶體上限 128GB。拆開來看,兩顆晶片的核心數和繪圖運算單元一模一樣,專門跑 AI 的 NPU 也只從 50 TOPS 小升到 55 TOPS。真正的差別在記憶體:不到十個月,上限就提高了一半。

為什麼記憶體這麼關鍵?可以把 AI 模型想成一本超厚的工具書,記憶體就是書桌。書桌太小,書攤不開,就只能分批搬、反覆翻,速度慢到不能用。書桌夠大,整本攤開,查什麼都快。大型語言模型主要靠繪圖晶片和記憶體運作,所以桌面大小,決定你能開多大的書。
不過帳要算清楚。這款機器的 192GB 裡,最多只有 160GB 能撥給繪圖晶片使用。3000 億參數的模型壓縮到 4 位元,光模型本身就要吃掉大約 150GB,只剩 10GB 左右放對話內容和執行程式。短問答、AI 代理反覆執行任務還應付得來,要處理長篇文件就會很吃力。文章因此推估,開發者會改用混合專家模型,也就是每次只叫醒一部分參數的設計,而不是硬塞完整的 3000 億參數模型。
AMD 想打的客群,從名稱裡的 PRO 就看得出來:企業和專業開發者。AMD 主管 Jack Huynh 負責公司電腦與繪圖事業,他說 AI 正從只能在雲端使用,變成「深度個人化、在本地、隨時可用」的東西。對不能把原始碼或客戶資料送上雲端的公司來說,一台能離線跑大模型的機器,等於直接解決了法規遵循的難題。
比較尷尬的是價錢。AMD 只說可以在美國 Micro Center 訂購,官方頁面至今沒寫售價。有一則第三方報導指出,Linux 版要價 7,299.99 美元,但這個數字還沒有獲得證實。這台機器也還沒有獨立評測,跑大模型的實際速度、耗電量和散熱表現,目前都是未知數。
對手也不少。輝達的 RTX Spark 筆電陸續上市,蘋果的 Mac Studio 同樣以統一記憶體主打本機跑模型。文章認為,最後勝負不在誰的記憶體大,而在軟體。輝達的 CUDA 生態深耕多年,AMD 自家的 ROCm 對各種框架的支援程度還不一致,已經習慣 CUDA 的開發者,寧願多花錢也不想換。
接下來有幾個看點:AMD 何時公布正式售價、第一批獨立評測的實際數字如何,以及 11 月 3 日 AMD 公布第三季財報時,分析師會追問這條產品線究竟有實際買氣,還是主要用來拉攏開發者。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 160 期 ・ 隨時可退訂

