英伟达试图突破 AI 内存瓶颈：HBM 仅增约 3%，每美元智能体吞吐量最高提升 30 倍
英伟达提出协同设计 GPU、CPU、网络、存储和软件，以应对 AI 推理及智能体工作流不断增长的内存需求。NVFP4 可压缩模型权重和 KV 缓存；不活跃上下文则可迁移至 CPU 内存或 CMX 上下文存储，并在需要时取回。英伟达援引 SemiAnalysis AgentX 基准称，在每用户每秒 125 个 token 的条件下，Vera Rubin NVL72 的每美元智能体吞吐量最高可达 GB300 NVL72 的 30 倍，而每 GPU 的 HBM 容量仅增加约 3%。这些是英伟达引用的基准数据，并非独立验证结果。
本文来源：IT之家，仅供学习参考，版权归原作者所有。