消息详情
GitHub开源观察|开源项目·热门仓库·开发者 · @GitHubTrendingHub · 2026年10月14日 00:01
bitnet.cpp:1‑bit LLM 的官方推理框架 bitnet.cpp 提供 1‑bit(1.58‑bit)模型的高效无损推理,支持 CPU、GPU(NPU 待来)和 ARM。它让 2B‑4T 参数的 BitNet b1.58 在单 CPU 上即可跑 100B 模型,速度可达 5‑7 tokens/s,能耗下降 70%‑82%。 · 速度:x86 最高 6.17×、ARM 最高 5.07×,单线程 RTF < 1 的实时 ASR · 能耗:CPU 最高 82.2% 降耗,ARM 70% · 兼容性:支持 I2_S、TL1、TL2 等量化,官方 GPU 内核已发布 · 生态:已发布 0.6B/270M 1‑bit 嵌入模型,提供 1.42×‑2.28× 的推理加速 适合需要在边缘设备或低功耗环境下部署大模型的开发者。
相關消訊
- Replica:GitHub 设计团队开源的设计 harness GitHub 设计团队把内部项目 Replica 开源,面向 AI 时代的设计师,核心机制…
- nginx 1.30.7 / 1.31.9:修复十个漏洞,五个可致远程代码执行 nginx 是广泛使用的开源 Web 服务器与反向代理。稳定分支 1.30.…
- nginx 1.30.7 / 1.31.9:修复十个漏洞,五个可致远程代码执行 nginx 是广泛使用的开源 Web 服务器与反向代理,稳定分支 1.30.…
- Linux 本地语音输入开源工具盘点:多款可离线听写的桌面应用 在 Linux 上把语音转成文字,多数工具可本地运行识别模型,语音内容不出本机,转写结果直接…
- Mysterium VPN:面向终端的 Linux 命令行 VPN 客户端 Mysterium VPN 的 Linux 客户端是纯命令行工具,没有图形界面,…
- PaperOrchestra:多智能体框架自动生成 AI 研究论文 google-research/paper-orchestra 面向论文写作中从零散想法…
- uv:Rust 编写的高速 Python 包与项目管理器 uv 由 Astral 开发,仓库为 astral-sh/uv,用 Rust 重写 Python …
- NVIDIA SkillEvaluator:AI Agent 技能与插件的多层级评估框架 SkillEvaluator 用于评估 AI Agent 技能与插…
- Local AI Weekly 第10期:语音输入与本地转写工具盘点 语音正成为手机和桌面的首选输入方式,也是本地 AI 的合适落地场景:模型小到能在普通笔…
- Lumo 桌面版:Proton 隐私 AI 助手的跨平台客户端 Proton 为旗下隐私 AI 助手 Lumo 推出桌面客户端,覆盖 Linux、Windo…