選擇語言
繁體中文
繁體中文 Traditional Chinese
简体中文
简体中文 Simplified Chinese
English
English English
日本語
日本語 Japanese
AI 助手

今日情報速問。不用選範圍,直接問今天值得看什麼。

完整分析

通知訊訊

暫無新訊訊

一些最近尝试的碎碎念 iPhone 的 A 系列和 M 系列芯片的 ANE 都是 fp16 计算,在 A17 Pro 和 M4 上支持了 int8 x int8 的 W8A8。 然后到 A19/M5 这一代,GPU 才开始支持神经加速单元,可以通过 Metal 4 的 tensor_ops 去调用,它就可以跑 int8 矩阵乘法和 int32 累加了。 相比之下,高通的 NPU 真的是拥有非常丰富的能力,比如 HMX 批发 int8 x int8,inx16 x int8,int4 和 fp16,还有 int32 累加。然后 HVX 可以做定点向量运算,还可以做 u8 和 u16 的 activation。 但是高通也有它的问题,比如说 HMX 出口能融合的种类不够丰富,HMX 和 HVX 分开要单独写调度。如果激活不能融合,就要一直写出读入,非常蛋疼。 但是因为 QNN/HTP 编译器按算子调度,基本上是滚完一轮特征图才开始做 HVX 激活,Apple 可以做 tile 级激活,颗粒度精细很多。 苹果的 ANE 基本没法摸到里面具体是什么,CoreML 暴露的东西很少,不太能自己编程,但是如果你有个训好的模型直接 fp16 启动是非常方便的。 然后到 Windows 这边,我发现无论是 Intel 还是 AMD 还是高通它们的 NPU 底子追上去似乎都是某种 DSP。 比如 Intel 的是 Movidius(DJI 和它还有些渊源),AMD 应该是来自 Xilinx。 早期这几个的 fp16 似乎都挺慢的,比如 Intel NPU 的 FP16 速度似乎只有 int8 一半,行为上有一点像高通。 Intel 的话也是有那个 SHAVE 的交接问题,但是 MAC 后面就接了 PPE,中间不会出来一个雷霆大 tensor,但你的 CMX 只有几 MB 和 DDR 并不充裕的带宽又让事情变得复杂。 至于 XDNA,我觉得最大的问题是 Ryzen AI 那一坨他们自己都弄不明白的工具链。 总之就是各有各的坑,各有各的难受。