bibibi.ccLoading…
英伟达提出全栈协同提升AI内存效率，并披露特定测试下最高10倍吞吐表现。
英伟达提出AI内存全栈协同设计方案，Vera Rubin平台每GPU内存容量仅增约3%
PANews 11月6日消息，英伟达发文称，随着AI模型规模扩大、上下文窗口延长以及智能体应用普及，GPU内存压力持续上升，HBM供应趋紧、价格上涨。英伟达提出通过GPU、CPU、网络、存储及软件协同设计，提高内存使用效率，而非单纯增加GPU内存容量。具体来看，英伟达通过NVFP4低精度格式压缩模型权重和KV Cache，将暂时不活跃的上下文转移至成本更低的存储层，并利用多GPU分布式部署释放HBM空间。英伟达披露，在SemiAnalysis AgentX测试中，GB300 NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍；Vera Rubin NVL72相较...
Source: https://www.panewslab.com/zh/articles/01a1ac7f-0469-773a-af5e-d7578c207339
英伟达称，AI模型规模扩大、上下文窗口延长及智能体应用普及，使GPU内存压力持续上升。
英伟达称，HBM供应趋紧、价格上涨。
英伟达提出协同设计GPU、CPU、网络、存储及软件，以提高内存使用效率，而非单纯增加GPU内存容量。
方案包括使用NVFP4低精度格式压缩模型权重和KV Cache、转移暂时不活跃的上下文，以及采用多GPU分布式部署。
英伟达披露，在SemiAnalysis AgentX测试的特定工作负载下，GB300 NVL72单位成本推理吞吐量最高达到H200平台的10倍。
标题称Vera Rubin平台每GPU内存容量仅增加约3%。
The following is analysis, separate from reported facts. Verify important claims independently.
这套思路不是只给每块GPU增加更多内存，而是通过压缩数据、把暂时不用的内容移到成本更低的存储层，并让多块GPU协同工作，从而腾出HBM空间。
如果这些方法有效，AI系统可能在有限的高带宽内存条件下处理更多推理任务；但文中的10倍结果只适用于所述特定工作负载。
新手可将其理解为：不只是扩大“桌面”，还通过压缩、分层存放和多人协作，让现有内存得到更高效利用。
Loading event timeline…
This term is not in the glossary yet. Browse related concepts in the glossary.
View glossary →This term is not in the glossary yet. Browse related concepts in the glossary.
View glossary →