跳到正文
热点事件历史事件

英伟达以全栈协同缓解推理显存压力

1 篇报道1 个报道来源14 天前更新

先了解这件事

AI 综述

英伟达通过联合设计 GPU、CPU、网络、存储和软件,提出降低大模型及智能体推理中 HBM 内存压力的方案。其软件栈以 NVFP4 压缩模型权重和 KV 缓存,并通过 Dynamo 与 CMX 分层复用上下文,同时让 cuVS 在 CPU 和存储中承载 RAG 索引,以减少 GPU 显存占用。

AI 根据报道生成 · 14 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. NVIDIA Blog精选
    NVIDIA 通过全栈协同设计缓解 AI 推理显存压力

    NVIDIA 通过联合设计 GPU、CPU、网络、存储和软件,缓解大模型及智能体推理中的 HBM 内存压力。方案包括以 NVFP4 压缩模型权重和 KV cache、通过 Dynamo 与 CMX 分层复用上下文,以及让 cuVS 在 CPU 和存储中承载 RAG 索引。