2. MoE 架構普及對 AMD 等競爭對手帶來哪些挑戰？

MoE 架構普及使 AI 競爭核心從單一晶片規格轉向「系統級整合」。對 AMD 等對手而言，最大挑戰在於 MoE 極度依賴 GPU 間的 all-to-all 通訊與低延遲互連。輝達憑藉 GB200 NVL72 的機櫃級設計與 NVLink 技術，在推論吞吐量展現顯著優勢，每 token 成本甚至僅為競品的分之一。這迫使 AMD 必須在提升 HBM 規格之餘，更需加速強化機架級互連頻寬與軟硬體協同設計（Co-Design），以克服 MoE 帶來的通訊瓶頸，否則難以在推論經濟性上與龍頭抗衡。