Fastino 推出 340M 參數 CPU 決策模型 GLiNER2.5-Decide,Apache 2.0 授權、可離線部署
發生什麼事Fastino Labs 於 9 月 24 日發布 GLiNER2.5-Decide,340M 參數、encoder 架構、Apache 2.0 授權,已上架 Hugging Face。模型接受文字加自訂規則輸入,輸出帶信心分數的結構化決策,不生成自由文字。在 48 核 Intel Xeon Platinum 8581C 上 p50 延遲 167.3ms,Nvidia T4/L4 約 43ms;支援氣隙環境部署,無需連外部 API。
為什麼重要GPU 塞車、記憶體漲七倍的年份,一個跑在普通 CPU 上、授權無上限、可離線的決策模型,直接省掉 GPU 採購、資料出境、廠商鎖定三道企業關卡。它不打算取代大模型,但那些默認路由給大模型的高量低複雜分類工作,Fastino 正在搶著接走。

