新創 Subquadratic 聲稱以稀疏注意力機制突破 LLM 算力瓶頸，第三方測試初步背書但質疑未止

這件事的核心不是「又一家 AI 新創出來喊話」，而是：有人拿出了比 transformer 更便宜、更快的架構，並且有第三方測試數字撐腰——儘管距離真正被業界接受，還差得遠。

邁阿密新創 Subquadratic 上月宣稱解決了困擾 LLM 將近十年的數學瓶頸，推出名為 SubQ 的新模型。問題的根源在於 transformer 的「密集注意力」（dense attention）機制——每處理一段文字，模型必須讓每個 token 的數值與其他所有 token 相乘，文字量一翻倍、計算量大約翻四倍，也就是所謂的「二次方擴張」（quadratic expansion）。這正是大型語言模型吃電又費錢的核心原因。SubQ 的解法是用「稀疏注意力」（sparse attention）取代密集注意力，只挑選關鍵的 token 配對進行乘法，而非全量計算。Subquadratic 強調自己的突破在於「動態選擇」——根據每段輸入文字即時判斷哪些關係重要，而非套用固定模式。這不是新思路，但前人都沒做出能追上密集注意力表現的版本。Subquadratic 聲稱 SubQ 是第一個做到的。

最有份量的數字來自第三方評估機構 Appen 的測試。速度方面，SubQ 在理論速度基準測試中比使用 FlashAttention（一種既有稀疏注意力技術）的模型快 56 倍；在真實競程編碼測試 LiveCodeBench 上得分 89.7%，與頂尖編碼模型同一水準。上下文視窗（context window）方面，SubQ 支援最高 1200 萬 token，是目前多數頂尖模型的 12 倍，且在六百萬與一千二百萬 token 規模的「大海撈針」測試中皆拿下 98% 的準確率。成本落差是 Subquadratic 主打的殺手鐧：跑 RULER 128 長上下文基準，Anthropic Opus 4.6 花費 2600 美元，SubQ 只花了 8 美元——但這個數字目前只有 Subquadratic 自己說，無法獨立驗證。

然而，質疑聲並未消散，而且指向一個結構性問題。SubQ 並非從零訓練，而是借用了中國開源模型 Qwen 的 weights（模型訓練後決定行為的權重參數）作為起點。這在模型開發圈是常見做法，但與 Subquadratic「從根本上重新設計 LLM 運作方式」的大敘事相衝突。獨立研究員、前 OpenAI 成員 Will Depue 的評語最為精準：「他們可能做出了真實有用的東西，但現有公開證據還不足以支持他們『解決了二次方注意力瓶頸』這個更強的聲明。」加上 SubQ 目前幾乎未對外開放——號稱有超過 50 萬潛在用戶排隊、超過 500 家企業客戶報名，但真正拿到存取權限的人極少——沒有廣泛真實使用的驗證，benchmark 數字終究只是 benchmark 數字。

對亞太市場的決策者而言，這件事有兩層意義值得注意。第一，SubQ 使用了 Qwen 的 weights，意味著中國開源模型生態已成為全球新創的基礎建材，這個趨勢的影響力遠超過任何一篇發布公告。第二，Subquadratic 鎖定的應用場景——分析數百份文件、搜索超大型程式碼庫——恰好是企業端最有付費意願的痛點；若其成本優勢能在實際部署中得到驗證，現有雲端 AI 服務商的定價模式將面臨實質壓力。目前最誠實的結論是：測試數字令人印象深刻，架構方向值得追蹤，但在更多人能真正跑起這個模型之前，它是「里程碑」還是「AI Theranos」，還沒人能下定論。