選擇語言
繁體中文
繁體中文 Traditional Chinese
简体中文
简体中文 Simplified Chinese
English
English English
日本語
日本語 Japanese
AI 助手

今日情報速問。不用選範圍,直接問今天值得看什麼。

完整分析

通知訊訊

暫無新訊訊

MIT CSAIL研究者报告GPT-6 Astra直接编辑Qwen3.5-0.8B权重 MIT CSAIL研究者Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab提出“权重空间编程”,让GPT-6 Astra在不使用梯度下降或训练循环的情况下读取并修改神经网络权重。针对Qwen3.5-0.8B,Astra将推理循环追溯到第15层和第19层多层感知器中的一个方向,并从相关输出列中移除该方向。 在允许50次前向评估的设置下,模型改动131072个权重,占约0.016%。MATH-500成绩从7.9%升至48.1%,GSM8K从13.8%升至67.1%,IFEval从21.0%升至62.3%。公开实验日志和编辑后模型显示,这项修改主要减少输出陷入32,768个词元上限的情况,未必增加模型原本没有的数学能力。对较少出现循环的Gemma 3 270M,类似编辑未带来明确提升。 —— Rikiya Takehi个人博客、GitHub、Hugging Face

相關消訊