選擇語言
繁體中文
繁體中文 Traditional Chinese
简体中文
简体中文 Simplified Chinese
English
English English
日本語
日本語 Japanese
AI 助手

今日情報速問。不用選範圍,直接問今天值得看什麼。

完整分析

通知訊訊

暫無新訊訊

英伟达提出AI内存全栈协同设计方案VeraRubin平台每GPU内存容量仅增约3%推理吞吐量提升最高30倍 英伟达11月5日发布文章称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。 英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。 具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KVCache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。 英伟达披露,在SemiAnalysisAgentX测试中,GB300NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;VeraRubinNVL72相较GB300NVL72,单位成本推理吞吐量最高提升30倍,而单GPUHBM容量仅增加约3%。 #市场

相關消訊