《Disney +》 迪士尼、Marvel、彼思、星球大戰…  大阪住宿型「電競房」在「京阪淀屋橋飯店」!   PS3與PS Vita的PS Store販售服務不終止了!但是PSP將原定計畫退役!   寶可夢25週年「寶可夢咖啡廳」紀念菜單登場!   延伸遊玩優惠優惠進駐PlayStation Store   【開箱】買了張Transcend microSD卡,放進Nintendo Swicth試試看!   FIA Certified Gran Turismo Championships於2021賽季隆重回歸   伊織萌將成為Wellplayed Rizest旗下合約代言人   「Street Fighter VCE」9月21日更新!新增豪鬼新服裝「機器豪鬼」! 

新創 SubQ 即將解決 AI 「記憶昂貴」難題?怎麼辦到?

商業

近期由 Subquadratic 公司推出的 SubQ 模型,據稱憑藉其獨有的「亞二次方」(Sub-quadratic)架構,正式宣佈 AI 進入了「超長記憶、極速運算、低廉成本」的新時代。

核心痛點:Transformer 架構的「平方陷阱」

要理解 SubQ 的偉大之處,必須先知道目前主流 AI(如 GPT-4)的限制。傳統模型多基於 Transformer 架構,其核心是「注意力機制」(Attention Mechanism)。在這種機制下,AI 每讀入一個新字(Token),都必須回頭與之前出現過的「每一個字」進行對比運算。

這導致了一個致命問題:當輸入的文字量增加 10 倍,電腦的運算量會暴增 100 倍(即二次方關係 $O(n^2)$)。這正是為何當我們把整本原始碼或幾十本書丟給 AI 時,它會變得反應遲鈍且收費極其昂貴。

技術突破:SSA 稀疏注意力機制

SubQ 聲稱他們徹底打破了這個物理限制。它採用了研發團隊自主創新的 SSA(Subquadratic Selective Attention,亞二次方選擇性注意力) 架構。

運作原理簡述:

與其讓每個字都與其他所有字連結,SSA 技術學會了「挑重點」。它像是一個擁有極高專注力的閱讀者,在掃視 1,200 萬個符號(Tokens)時,能夠精確過濾掉 99% 的無關干擾資訊,只針對真正有關聯的數據進行運算。

這項技術讓運算量從原先的「平方級」降到了接近「線性級」($O(n)$)。在處理 1,200 萬個符號的極端長度時,SubQ 的注意力運算成本僅為傳統架構的 1/1000,而整體的推論成本僅為市場領先模型的 五分之一。

驚人的性能指標:1,200 萬 Token 的實戰能力

1,200 萬個 Token 是什麼概念?這相當於:

  • 整個軟體項目的所有原始碼(例如整個 Python 3.13 標準庫,約 510 萬 Token)。
  • 長達半年的專案開發記錄(例如 React 代碼庫半年內的 1,050 個合併請求,約 750 萬 Token)。
  • 數千頁的技術文檔與歷史對話。

SubQ 不僅能一次性「吃進」這些資料,還能保持每秒 150 個 Token 的極高輸出速度。這意味着 AI 代理(AI Agents)現在可以真正具備「長期記憶」,在處理複雜任務時不再需要反覆刪除舊記憶。

暫時,他們的產品仍讓用戶申請Early Access階段,實際效果如何,仍待更多人進一步實測。

資料來源:https://subq.ai/introducing-subq

TechApple

隨機商業新聞