bitnet.cpp：1‑bit LLM 的官方推理框架 bitnet.cpp 提供 1‑bit（1.58‑bit）模型的高效无损推理，支持 CPU、GPU（NPU 待来）和 ARM。它让 2B‑4T 参数的 BitNet b1.58 在单 CPU 上即可跑 100B 模型，速度可达 5‑7 tokens/s，能耗下降 70%‑82%。 · 速度：x86 最高 6.17×、ARM 最高 5.07×，单线程 RTF < 1 的实时 ASR · 能耗：CPU 最高 82.2% 降耗，ARM 70% · 兼容性：支持 I2_S、TL1、TL2 等量化，官方 GPU 内核已发布 · 生态：已发布 0.6B/270M 1‑bit 嵌入模型，提供 1.42×‑2.28× 的推理加速 适合需要在边缘设备或低功耗环境下部署大模型的开发者。