消息详情
荔枝木 · @lychee_wood · 2026年11月20日 14:52
一些最近尝试的碎碎念 iPhone 的 A 系列和 M 系列芯片的 ANE 都是 fp16 计算,在 A17 Pro 和 M4 上支持了 int8 x int8 的 W8A8。 然后到 A19/M5 这一代,GPU 才开始支持神经加速单元,可以通过 Metal 4 的 tensor_ops 去调用,它就可以跑 int8 矩阵乘法和 int32 累加了。 相比之下,高通的 NPU 真的是拥有非常丰富的能力,比如 HMX 批发 int8 x int8,inx16 x int8,int4 和 fp16,还有 int32 累加。然后 HVX 可以做定点向量运算,还可以做 u8 和 u16 的 activation。 但是高通也有它的问题,比如说 HMX 出口能融合的种类不够丰富,HMX 和 HVX 分开要单独写调度。如果激活不能融合,就要一直写出读入,非常蛋疼。 但是因为 QNN/HTP 编译器按算子调度,基本上是滚完一轮特征图才开始做 HVX 激活,Apple 可以做 tile 级激活,颗粒度精细很多。 苹果的 ANE 基本没法摸到里面具体是什么,CoreML 暴露的东西很少,不太能自己编程,但是如果你有个训好的模型直接 fp16 启动是非常方便的。 然后到 Windows 这边,我发现无论是 Intel 还是 AMD 还是高通它们的 NPU 底子追上去似乎都是某种 DSP。 比如 Intel 的是 Movidius(DJI 和它还有些渊源),AMD 应该是来自 Xilinx。 早期这几个的 fp16 似乎都挺慢的,比如 Intel NPU 的 FP16 速度似乎只有 int8 一半,行为上有一点像高通。 Intel 的话也是有那个 SHAVE 的交接问题,但是 MAC 后面就接了 PPE,中间不会出来一个雷霆大 tensor,但你的 CMX 只有几 MB 和 DDR 并不充裕的带宽又让事情变得复杂。 至于 XDNA,我觉得最大的问题是 Ryzen AI 那一坨他们自己都弄不明白的工具链。 总之就是各有各的坑,各有各的难受。
相關消訊
- INT4 INT8 INT16 FP8 BF16 MX4 MX6 MX9 balabalabala
- GPT-6.2 Astra 解决了个弱四大问题 我看现在学术顶刊应该是 GitHub
- 嚯,Extremely Urgent 上次收到这么高规格的急件还是上次
- https://www.youtube.com/watch?v=HY7mTCMvpEM 如果你没见过 10t 钠金属倒水里长啥样,这里有视频
- 我原本以为 1947 年美军往水里倒了 10t 钠金属导致巨大可控爆炸已经是绝世狠活。 什么叫 2026 年美军引爆储存在艾奥瓦州米德尔敦艾奥瓦陆军弹药厂…
- 俄罗斯联邦总统普京、中华人民共和国主席习近平和美利坚合众国总统特朗普于2026年11月19日在深圳举行会晤。俄美两国元首感谢中方组织并主办这次历史性的三方峰会…
- 目前最好的笔记本屏幕,哪怕没有触摸也是 感觉光显示素质提升和减重就值得了,灵动岛和触摸都是送的
- 非常好无缝设计 OLED 很好,纳米纹理很好 60Hz 不好
- 初步体验: 屏幕素质很好,但习惯了 120Hz 能感觉出「古典」刷新率 音效很好,铰链很结实但不能左右转 照片是 iPhone 那边给的,所以应该要么在…
- 【【GTA6】以防你不知道可以在GTA6边开车边听林子祥《敢爱敢做》-哔哩哔哩】 https://b23.tv/6KfjP0N