Nvidia 研究：線性代數可直接映射 KV Cache，省去多模型工作流的重算成本

多模型 AI 工作流有一個沒什麼人正面解決的隱性稅：每當系統把任務從小模型交給大模型（或反過來），接手的那個模型必須把整段對話從頭重算一遍。對話越長，這個成本越高，延遲越難看。Nvidia 研究人員現在提出一個辦法：不用重算，直接把來源模型的 KV cache 用線性代數映射到目標模型的格式，整個轉換過程比重新跑 prefill 快 2.7 到 25 倍，在四個主要測試對上保住了目標模型 73% 到 98% 的準確率。

為什麼之前沒人這樣做？過去的嘗試要嘛需要昂貴的梯度訓練，要嘛對模型架構有嚴格限制。Nvidia 這篇論文的核心發現是：跨模型的 KV cache 結構，本質上是高度線性的——這意味著你不需要訓練一個深度神經網路來做轉換，幾百條文本序列當校準資料、跑一次線性迴歸就夠了。具體數字：從 Qwen3 14B 映射到 32B，單層線性迴歸能還原目標模型 key 裡 56% 的變異、value 裡 32% 的變異；結合多個來源層之後，兩個數字分別爬到 79% 和 65%。實際速度測試更直接：把 32,768 個 token 的 KV cache 從 Qwen3 14B 轉到 32B，映射只用了 278 毫秒，對比傳統重算接近 7 秒。

這套系統的設計分三層：per-head ridge regression 處理每個 attention head 的線性映射；cross-layer source selection 自動挑出來源模型裡對目標層最有預測力的層；content-space mapping 則先剝掉 RoPE 位置編碼再做映射，讓系統能泛化到比校準資料更長的序列。測試覆蓋 Qwen3、Llama 3.1、Ministral 三個家族、參數量從 3B 到 70B，包括 Llama 3.1 從 8B 到 70B 這個 8.8 倍的跳躍——即便如此，仍保住了 72.8% 的目標準確率。不過這個方法不是沒有邊界：兩個 Ministral 配置上，線性映射的準確率掉得很難看，研究人員最後換成兩層隱藏層的 MLP 才把準確率拉回 90% 以上。

KV cache 的問題，過去一年已經有好幾條不同攻法在同時推進：Nvidia 自己的 dynamic memory sparsification 把推理成本壓低 8 倍、MIT 的 Attention Matching 把 cache 壓縮 50 倍、Nvidia 另一條線的 KVTC 把記憶體縮小 20 倍。這篇論文加進來的是另一個維度——不是壓縮、不是稀疏化，而是讓模型切換本身變便宜。這對「用小模型跑日常、遇到複雜推理再升級大模型」這種工作流最直接：企業現在用 routing 省算力，但 routing 本身的重算成本往往被低估。線性映射如果成熟，routing 的成本結構會根本改變。目前這套方法只驗證了同家族、同 KV head 數量的配對；跨家族、跨架構的轉換還沒有答案，而那才是真實企業環境裡更常見的情形。