SRAM 雖具備極低延遲優勢,但其物理密度低且成本高昂,導致容量擴張速度遠落後於 AI 模型參數與 KV 快取的增長。當超大型模型(如 MoE 或長文本 LLM)規模超出 SRAM 承載上限,運算效能會因頻繁存取外部記憶體而崩潰,形成嚴重的「記憶體牆」瓶頸。輝達執行長黃仁勳曾直言,SRAM 容量與實際需求落差達百倍,這迫使產業必須依賴 HBM 或分層架構。在成本與效能權衡下,SRAM 的容量瓶頸不僅限制了單晶片推論效率,更推升了資料中心的總體擁有成本(TCO),促使業者轉向開發 CXL 或 HBF 等新技術以尋求突破。