消息详情
快讯简报7*24 · @zxjb724 · 2026年11月6日 00:07
英伟达提出AI内存全栈协同设计方案VeraRubin平台每GPU内存容量仅增约3%推理吞吐量提升最高30倍 英伟达11月5日发布文章称,随着AI模型规模扩大、上下文窗口延长以及智能体应用普及,GPU内存压力持续上升,HBM供应趋紧、价格上涨。 英伟达提出通过GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加GPU内存容量。 具体来看,英伟达通过NVFP4低精度格式压缩模型权重和KVCache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多GPU分布式部署释放HBM空间。 英伟达披露,在SemiAnalysisAgentX测试中,GB300NVL72在特定工作负载下的单位成本推理吞吐量最高达到H200平台的10倍;VeraRubinNVL72相较GB300NVL72,单位成本推理吞吐量最高提升30倍,而单GPUHBM容量仅增加约3%。 #市场
相關消訊
- 伊朗法尔斯通讯社:伊朗伊斯兰革命卫队对巴林的美国基地发动袭击,以回应美国的“敌对”行动。 #国际
- 最新消息:周六全美取消航班数量攀升至7000架次。 #其他
- 最新消息: #其他
- 巴拿马航空客机与UPS货机在迈阿密机场滑行时相撞 根据空中交通管制员的通话记录,一架巴拿马航空客机与一架UPS货机在迈阿密国际机场滑行时发生碰撞。 ATC.c…
- 美团明确:11月16日至20日深圳全城骑手订单超时免责 11月13日,深圳发布《深圳市公安局关于2026年APEC领导人非正式会议期间实施部分区域临时交通管控…
- 美国联邦航空管理局:正在调查迈阿密巴拿马航空与UPS飞机相撞事件。 #国际
- 宁夏迎降雪部分地区发布暴雪橙色预警信号 记者从宁夏回族自治区气象局获悉,受东移南下冷空气和暖湿气流共同影响,14日夜间起,宁夏迎来今年立冬后首场全区性雨雪降温…
- 全球另类资管巨头布局工业户外仓储 全球两大另类资管巨头Brookfield和Blackstone,都已经入局业内称作工业户外仓储(IOS)的赛道。 随着AI算…
- 亿航智能与斯里兰卡LOLC控股集团座谈交流 据亿航智能消息,11月14日,斯里兰卡LOLC控股集团执行董事长伊沙拉·纳纳亚卡拉率代表团到访亿航智能总部。 座谈…
- 余承东:大折叠已成为千万人的主力机 11月15日,华为常务董事、产品投资评审委员会主任、终端BG董事长余承东在其个人社交平台表示,今年是华为MateX系列走过…