消息详情
SpendTopic · @Topicst · 2026年11月3日 15:53
MIT CSAIL研究者报告GPT-6 Astra直接编辑Qwen3.5-0.8B权重 MIT CSAIL研究者Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab提出“权重空间编程”,让GPT-6 Astra在不使用梯度下降或训练循环的情况下读取并修改神经网络权重。针对Qwen3.5-0.8B,Astra将推理循环追溯到第15层和第19层多层感知器中的一个方向,并从相关输出列中移除该方向。 在允许50次前向评估的设置下,模型改动131072个权重,占约0.016%。MATH-500成绩从7.9%升至48.1%,GSM8K从13.8%升至67.1%,IFEval从21.0%升至62.3%。公开实验日志和编辑后模型显示,这项修改主要减少输出陷入32,768个词元上限的情况,未必增加模型原本没有的数学能力。对较少出现循环的Gemma 3 270M,类似编辑未带来明确提升。 —— Rikiya Takehi个人博客、GitHub、Hugging Face
相關消訊
- 微软 Outlook、Teams 与 Copilot 故障持续超过12小时 微软 Outlook、Teams 和 Copilot 在11月13日仍未完全恢复…
- Guido van Rossum宣布Python早期贡献者Tim Peters去世,享年74岁 Guido van Rossum在Python社区论坛宣布,…
- Claude.ai与Claude Code出现身份验证故障,Anthropic展开调查 Claude.ai、Claude Code 及 platform.c…
- Telegram创始人杜罗夫批评黄仁勋设立董事会 Telegram 创始人帕维尔·杜罗夫评论英伟达创始人黄仁勋离任风波,称黄仁勋犯了创业者常见的错误,即为公…
- 上海调查处置工作组通报交大医学院基因编辑患儿死亡事件处理结果 涉事患儿确诊为Snijders Blok-Campeau综合征。2023年7月,患儿家属联系上…
- 美国情报部门称尚无证据证明 Alice Huang 从事间谍活动 美国情报部门仍在调查中国籍商界人士 Alice Huang 与英伟达前 CEO 黄仁勋的关…
- 微软Microsoft 365全球宕机波及OpenAI、Anthropic及多国政府 微软Microsoft 365、Outlook、Teams及Copil…
- 英伟达员工请愿要求黄仁勋回归担任CEO 黄仁勋承认对妻子不忠并辞去英伟达首席执行官职务后,一项公司内部建议帖吸引超过1600条评论,多数支持他回归。部分员工…
- 研究者从六个中国AI模型权重中识别出Blackwell芯片指纹 研究者Will DePue分析公开模型权重中的初始化数值模式,称DeepSeek的V4-Fl…
- Flinn AI起诉Anthropic和OpenAI侵犯神经网络专利 Flinn Artificial Intelligence Technologies分…