AI正以驚人速度改變全球運算版圖。研究顯示，目前全球僅約七分之一的數據中心具備承載AI工作負載的能力，但預計到2030年，這一比例將攀升至接近七成。AI應用正從超大規模數據中心，逐步遷移至企業級數據中心，並進一步部署至網絡邊緣，邊緣AI應用預計於2030年底將創造近665億美元的市場價值。在這波浪潮中，數據是全新計算時代的核心驅動力，海量數據必須高速傳輸至快速擴展的AI運算架構。然而，傳統儲存架構已逐漸顯露結構性缺陷，難以支撐這個高速增長的需求。
傳統記憶體架構面臨的多重挑戰
數據中心所依賴的記憶體方案，包括DRAM及專用高頻寬記憶體，在面對大型AI模型日益增長的需求時，已出現多種深層次問題。首先是密度瓶頸，DRAM的容量擴展已陷入停滯，難以支撐AI推理持續攀升的容量需求。此外，AI推理所需的數據存取模式與訓練截然不同，DRAM在低時延、隨機存取方面的優勢並不適用於推理應用場景，反而造成資源錯配。
超大規模運算廠商同時面對DRAM與HBM的生產成本持續攀升、設計複雜度上升，以及能耗線性增加等問題。在企業級數據中心與邊緣AI應用場景中，這些挑戰更為嚴峻，受限於更小的物理空間，難以承受記憶體成本與功耗的持續上漲。這種情況催生了市場對新型記憶體技術的迫切需求——一種專為AI推理優化的記憶體解決方案。
AI推理工作負載的獨特需求
AI推理作為現時主流的AI工作負載，在數據管理方面有著與訓練截然不同的要求。推理需要儲存規模持續擴大的AI模型，而基於HBM與DRAM的記憶體方案在容量與成本可擴展度上存在明顯短板。現時記憶體階層中存在一個關鍵缺口——介乎高性能但容量受限的HBM，與延遲較高但容量充裕的標準NAND快閃記憶體之間，尚未有一種專門針對AI推理優化的記憶體技術能填補這個空白。
高頻寬快閃記憶體的出現，正是針對這個缺口而設計。這款創新的記憶體架構瞄準AI數據中心與邊緣運算場景，旨在提供專為AI推理工作負載優化的儲存解決方案。該技術在維持與HBM同等頻寬的前提下，能提供更高容量與儲存密度，更貼合AI推理的發展趨勢。作為持久性儲存媒介，HBF在斷電時仍能保留數據，且具備熱穩定性，可支援高溫運行環境。
高頻寬快閃記憶體的技術創新
這款名為High Bandwidth Flash的全新儲存技術，透過優化高頻寬特性與推理記憶體屬性，高效重構NAND快閃記憶體，並採用CMOS鍵合陣列晶圓技術，進一步提升能效與頻寬。與傳統NAND快閃記憶體相比，HBF透過並行架構、先進邏輯縮放工藝與客製化堆疊技術，實現更低時延與超高讀取頻寬，讓大語言模型能以接近DRAM的速度串流讀取數據。
從架構層面來看，專為AI優化的儲存解決方案應具備多項核心特性。首先是更大規模且可擴展的記憶體容量，專為推理工作負載進行配置。其次是更高的記憶體密度，能在相同面積下容納更多數據。再次是高頻寬特性，滿足AI推理對數據傳輸速率的嚴格要求。此外，系統級功耗亦需控制在合理範圍內，最後還要具備高性價比指標，以美元單位計算的每TB儲存成本需具競爭力。
HBF同時支援大型KV緩存功能，可高效處理冗長複雜的用戶指令，以及客製專屬與領域專屬數據，從而提升AI推理的準確率。這種能力對於需要在特定領域運行AI應用的企業而言尤為關鍵。
從超大規模數據中心到網絡邊緣的全面覆蓋
HBF的應用場景涵蓋多個層面。受密度、成本與功耗限制，HBM通常無法用於邊緣與移動環境，而HBF可憑藉更大儲存容量，實現處理更複雜AI推理任務的價值。這為智能手機等邊緣設備打開應用空間，助其能在即時決策場景中執行各類複雜任務。憑藉持久性儲存的特點，HBF支援從歷史查詢中無縫調取過往上下文資訊，以解決新問題。
在企業級運算場景中，HBF的優勢同樣明顯。這類場景的用戶規模遠小於超大規模數據中心，而依託HBM的大型GPU叢集成本過高，往往令中小型企業望而卻步。透過採用搭載HBF的加速方案，小型企業有望對大型預訓練模型進行優化，以支援領域專屬應用需求，無需承擔與超大規模數據中心同等的基礎設施成本。
重新定義AI時代的儲存標準
數據中心與邊緣AI設備正自主運行，支撐從日常資訊查詢到突破性科學發現等各類任務。網站託管、企業數據管理等常規任務正逐步讓位給依托機器學習、深度學習與資料分析，以產生實用洞察的智能工作負載。現今的數據中心與邊緣儲存亟需重新規劃，以支撐大規模推理模型執行預測與生成任務。
預計到2030年底，超大規模服務商在AI架構領域的支出將達到6.7萬億美元，規模達1,200億美元的DRAM產業正面對上述深層矛盾，各方迫切希望能有一種突破性的解決方案來支撐未來的AI部署。
HBF在具備顯著容量優勢的同時，可提供AI推理應用所需的高吞吐量。作為可擴展的全新系統級儲存技術，HBF有助減少效能瓶頸，加快現代數據中心與邊緣網絡中AI應用的洞察生成速度。這種創新的記憶體架構代表了一個重要的技術轉向——不再讓應用去適配現有儲存限制，而是根據AI推理的實際需求，重新打造一款貼合應用的全新儲存解決方案，為下一代AI運算奠定更堅實的基礎設施根基。
