PyTorch 2.15重寫GPU通訊層，一張卡壞掉不必全部重跑

開源AI框架PyTorch推出2.15版，重寫了GPU之間互相溝通的那一層。目標是解決一個老毛病：一大群GPU一起訓練模型時，只要其中一張出狀況，整個訓練任務就可能得從頭再來。

先講背景。訓練大型模型時，多張GPU要不停交換運算中間的資料。PyTorch靠的是輝達的NCCL，唸作Nickel，是一套專門讓GPU彼此快速傳資料的通訊工具，比一般網路傳輸少很多瓶頸。Facebook當年打造PyTorch時就採用了它。

問題出在PyTorch跟NCCL銜接的那層程式，叫ProcessGroupNCCL。舊版一個行程群組可能生出幾十個通訊器，彼此串線，時不時整個卡死，效能也難以預測。PyTorch核心開發者、專攻分散式運算的Meta工程師Tristan Rice在直播中直說，這一層的技術債已經多到快滅頂，非重寫不可。

打個比方，舊版就像同一個專案開了一堆聊天群組，訊息互相打架，最後大家都在等別人回話。新版立下鐵律：一個群組在啟動時只配一個通訊器，需要平行處理就多開群組，從源頭杜絕串線。

更實際的是處理拖油瓶的能力。某張GPU當機或變慢時，外部的調度程式可以把它踢出隊伍，甚至派替補上場，就像接力賽有人抽筋，直接換人接棒，不必全隊回到起點。新版還加了飛行記錄器：以前叢集卡住，使用者只拿到一句籠統的錯誤訊息；現在系統會把所有操作存成一連串快照，出事後可以回放，像飛機的黑盒子。

The Register認為，這顯示PyTorch正從研究人員的工具，變成正式上線AI服務的基石。AI軟體公司Northflank共同創辦人Will Stewart在部落格寫道：「每一家主要的機器學習實驗室（OpenAI、DeepMind、Meta、輝達）都在用PyTorch。」

這次改版還加入新的Python傳輸介面，適合在訓練與生成程式之間同步模型權重，並改善蘋果裝置上的平行運算、支援輝達Blackwell GPU。整個版本來自583位貢獻者、3,117次程式提交。

接下來的看點：舊版通訊層暫時留在2.15裡，作為出問題時的退路；如果新版運作如預期，明年初的2.16版就會把舊版拿掉。新架構在真實大型叢集裡撐不撐得住，是各家AI團隊接下來要驗收的事。