2. 除了 HBM，哪些新技術能突破 AI 記憶體牆？

Answer | Powered by TechNews Smart AI

突破 AI 記憶體牆，業界正轉向「異構分層」與「近存運算」架構。除了 HBM，CXL 技術透過高速介面匯集大容量 DDR5 形成共享記憶體池，是兼顧成本與擴充性的關鍵。此外，結合 NAND 堆疊與 TSV 技術的「高頻寬快閃記憶體」（HBF）提供數倍於 HBM 的容量，鎖定大模型推論市場。記憶體內運算（PIM）則直接在儲存端處理數據，減少搬運延遲。軟體層面如 KV 快取優化與分級管理工具，搭配 GDDR7 等高性價比方案，正重新定義 HBM、DRAM 與 SSD 的協作，以在效能與總體擁有成本（TCO）間取得最佳平衡。