近期由 Subquadratic 公司推出的 SubQ 模型,據稱憑藉其獨有的「亞二次方」(Sub-quadratic)架構,正式宣佈 AI 進入了「超長記憶、極速運算、低廉成本」的新時代。

核心痛點:Transformer 架構的「平方陷阱」
要理解 SubQ 的偉大之處,必須先知道目前主流 AI(如 GPT-4)的限制。傳統模型多基於 Transformer 架構,其核心是「注意力機制」(Attention Mechanism)。在這種機制下,AI 每讀入一個新字(Token),都必須回頭與之前出現過的「每一個字」進行對比運算。
這導致了一個致命問題:當輸入的文字量增加 10 倍,電腦的運算量會暴增 100 倍(即二次方關係 $O(n^2)$)。這正是為何當我們把整本原始碼或幾十本書丟給 AI 時,它會變得反應遲鈍且收費極其昂貴。
技術突破:SSA 稀疏注意力機制
SubQ 聲稱他們徹底打破了這個物理限制。它採用了研發團隊自主創新的 SSA(Subquadratic Selective Attention,亞二次方選擇性注意力) 架構。
運作原理簡述:
與其讓每個字都與其他所有字連結,SSA 技術學會了「挑重點」。它像是一個擁有極高專注力的閱讀者,在掃視 1,200 萬個符號(Tokens)時,能夠精確過濾掉 99% 的無關干擾資訊,只針對真正有關聯的數據進行運算。
這項技術讓運算量從原先的「平方級」降到了接近「線性級」($O(n)$)。在處理 1,200 萬個符號的極端長度時,SubQ 的注意力運算成本僅為傳統架構的 1/1000,而整體的推論成本僅為市場領先模型的 五分之一。
驚人的性能指標:1,200 萬 Token 的實戰能力
1,200 萬個 Token 是什麼概念?這相當於:
- 整個軟體項目的所有原始碼(例如整個 Python 3.13 標準庫,約 510 萬 Token)。
- 長達半年的專案開發記錄(例如 React 代碼庫半年內的 1,050 個合併請求,約 750 萬 Token)。
- 數千頁的技術文檔與歷史對話。
SubQ 不僅能一次性「吃進」這些資料,還能保持每秒 150 個 Token 的極高輸出速度。這意味着 AI 代理(AI Agents)現在可以真正具備「長期記憶」,在處理複雜任務時不再需要反覆刪除舊記憶。
暫時,他們的產品仍讓用戶申請Early Access階段,實際效果如何,仍待更多人進一步實測。







