跳到正文
NVIDIA Blog· Amr Elmeleegy·· 14 天前精选AI 评分60

NVIDIA 通过全栈协同设计缓解 AI 推理显存压力

More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge

AI 导读

NVIDIA 通过联合设计 GPU、CPU、网络、存储和软件,缓解大模型及智能体推理中的 HBM 内存压力。方案包括以 NVFP4 压缩模型权重和 KV cache、通过 Dynamo 与 CMX 分层复用上下文,以及让 cuVS 在 CPU 和存储中承载 RAG 索引。

推荐理由

文章梳理了从模型权重、KV cache 到 RAG 索引的分层内存方案,并提供不同平台的吞吐量与成本对比。

来源:NVIDIA Blog · blogs.nvidia.com