跳到正文
热点事件历史事件

MIT称LLM可直接改写模型权重,实验条件引质疑

15 篇报道10 个报道来源10 天前更新

先了解这件事

AI 综述

MIT CSAIL 团队提出“权重空间编程”(Weight-Space Programming),称 GPT-6 Astra 可绕过梯度下降和训练流程,直接读取并修改神经网络权重。在 Qwen3.5-0.8B 上,Astra 只改动约 0.016%(131072 个)参数,MATH-500 从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%。 有质疑帖指出,该实验并非仅靠读取原始权重完成:真正直接读取权重的实验只覆盖 17K–172K 参数的小网络;涉及真实语言模型的实验都借助了 Python,Qwen3.5-0.8B 的数学提升还允许模型在最多 50 批练习题上运行。该帖认为,这些结果不应与“直接读写权重”放在同一篇论文里。spaCy 作者 Matthew Honnibal 也公开质疑该研究存在严重误导。 报道还提到,实验均在小型模型上完成,对很少出现推理循环的 Gemma 3 270M 修改未带来明确提升;GPT-6 Astra 是 OpenAI 尚未公开发布的模型,团队尚未发布代码、论文或第三方复现结果。

AI 根据报道生成 · 10 天前更新

事件进展

3 个进展

  1. 11月5日 15:10 · 1 篇报道
    Honnibal发文质疑Astra研究呈现方式
    量子位:spaCy 作者 Matthew Honnibal 质疑 MIT Astra 研究:修改 Qwen3.5-0.8B 权重被指偷换概念
  2. 11月3日 20:21 · 1 篇报道
    质疑「Astra 能读写权重改进 Qwen」:该帖具有误导性
    Hacker News · 首页:质疑「Astra 能读写权重改进 Qwen」:该帖具有误导性
  3. 11月3日 02:21 · 10 篇报道
    研究展示LLM直接读写神经网络权重
    Hacker News · 首页:研究称 GPT-6 Astra 可直接读写神经网络权重,修复 Qwen3.5-0.8B 循环使 MATH-500 从 7.9% 升至 48.1%

报道时间线

沿着报道,了解事件的不同侧面。

11月5日
  1. 掘金
    从 Astra 改千问权重到 Harness²:AI 如何判断自己改对了

    文章解读 MIT CSAIL 的实验,GPT-6 Astra 直接修改 Qwen3.5-0.8B 的权重来减少重复推理,在 MATH-500 上把正确率从 7.9% 提到 48.1%。

  2. 量子位
    spaCy 作者 Matthew Honnibal 质疑 MIT Astra 研究:修改 Qwen3.5-0.8B 权重被指偷换概念

    spaCy 作者、Explosion 联合创始人 Matthew Honnibal 公开质疑 MIT 的 Astra 研究存在严重误导。

  3. Latent Space
    Latent Space 专访:Kill My SaaS、Jev 与 2026 年 AI 展望(AI Engineer Shanghai)

    Latent Space 发布 AI Engineer Shanghai 专题,并独家专访回顾 Latent Space 自身历史。AI 新闻部分聚焦“权重空间编程”复现争议:GPT-6 Astra 在 Qwen3.5-0.8B 上无反向传播编辑 131,072 个权重,MATH-500 从 7.9% 升至 48.1%,但复现显示提升主要来自修复 32K token 循环问题。

11月4日
  1. The Decoder
    研究称 GPT-6 Astra 可直接读写模型权重,改写 0.016% 权重让 Qwen3.5-0.8B 数学准确率升至 48.1%

    一项研究提出 Weight-Space Programming,让 GPT-6 Astra 直接读取和生成模型权重,跳过逐步数学优化的常规训练流程。在 Qwen3.5-0.8B 上,Astra 只改动 0.016% 的权重,就把 MATH-500 准确率从 7.9% 提到 48.1%,指令遵循从 21% 升到 62%,但仍有三分之一回答撞到最大文本长度。

  2. 雷峰网
    MIT CSAIL 用 GPT-6 Astra 改写 Qwen3.5-0.8B 权重,0.016% 参数修复 3 万 Token 死循环

    MIT CSAIL 让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的内部权重,仅改动约 0.016% 参数,就把 MATH-500 成绩从 7.9% 提升到 48.1%,GSM8K 从 13.8% 升至 67.1%。

11月3日
  1. 掘金
    拆解 MIT 让 GPT-6 Astra 改 Qwen3.5-0.8B 权重的实验:0.016% 参数提分来自修复推理循环

    MIT CSAIL 团队让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的权重,只改 131072 个参数(约 0.016%),MATH-500 从 7.9% 升到 48.1%,GSM8K 从 13.8% 升到 67.1%,全程无训练、无梯度下降。

  2. Hacker News · 首页
    质疑「Astra 能读写权重改进 Qwen」:该帖具有误导性

    一篇质疑「Astra 能读写权重改进 Qwen」的帖子指出,该实验并非仅靠读取原始权重完成。真正直接读取权重的实验只覆盖 17K–172K 参数的小网络;涉及真实语言模型的实验都用了 Python,Qwen3.5-0.8B 的数学提升(MATH-500 从 7.9% 到 48.1%)还允许模型在最多 50 批练习题上运行。作者认为这些结果与「直接读写权重」不应放在同一篇论文里。

  3. The Rundown AI
    MIT 研究:GPT-6 Astra 无需训练即可改写其他模型权重

    MIT 研究发现,OpenAI 的 GPT-6 Astra 能直接改写其他模型的权重而非重新训练,把阿里小尺寸 Qwen 的数学得分从 7.9% 提升到 48.1%,仅改动 0.016% 的权重。该方法对缺少单一缺陷的 Gemma 3 效果有限,Astra 还能仅凭权重判断模型学到的游戏并写出简单 Breakout 玩家。作者称这或让 AI 自行升级、按需增删技能或排查隐藏问题。

  4. 爱范儿
    MIT CSAIL 提出权重空间编程,GPT-6 Astra 改 Qwen3.5-0.8B 0.016% 参数数学成绩升至 48.1%

    MIT CSAIL 研究团队提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改神经网络权重,仅改动 Qwen3.5-0.8B 的 131072 个参数(约 0.016%),MATH-500 从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%。

  5. Latent Space
    MIT CSAIL 提出 Weight-Space Programming:LLM 直接读写神经网络权重

    MIT CSAIL 的 Takehi et al. 提出 Weight-Space Programming,让前沿 LLM 从自然语言目标出发直接检查和编辑神经网络权重张量,不走梯度下降或训练循环。

  6. 掘金
    MIT 团队用 GPT-6 Astra 改写小模型权重,跳过梯度训练提升指令遵循能力

    MIT CSAIL 团队提出权重空间编程方法,用 GPT-6 Astra 直接读写神经网络权重参数,跳过梯度下降训练流程。在 Qwen3.5-0.8B 上仅修改约 0.016% 的权重,指令遵循能力提升 3 倍。实验均在小型模型上完成,Astra 如何实现权重读写的技术细节未公开,团队尚未发布代码、论文或第三方复现结果。

  7. IT之家
    MIT CSAIL 提出权重空间编程,GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重使 MATH-500 从 7.9% 升至 48.1%

    MIT CSAIL 研究人员提出「权重空间编程」,让 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016%(131072 个)参数,就把 MATH-500 成绩从 7.9% 提升至 48.1%,GSM8K 从 13.8% 升至 67.1%。

  8. 量子位
    MIT 实验用 GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重,MATH-500 得分从 7.9% 升至 48.1%

    MIT 团队提出 Weight-Space Programming,让 GPT-6 Astra 直接读取并修改小模型权重,在 Qwen3.5-0.8B 上只改动 0.016% 的权重、不做训练和梯度下降,MATH-500 得分从 7.9% 升到 48.1%,指令执行能力提高 3 倍。

  9. Techmeme
    研究称 LLM 可原生读写神经网络权重,GPT-6 Astra 直接改 Qwen3.5-0.8B 权重提升数学能力

    研究人员发现 LLM 能原生读取和写入神经网络权重,GPT-6 Astra 直接编辑 Qwen3.5-0.8B 的权重,使其数学能力得到提升。该结果由 Rikiya Takehi 报道,显示模型可在权重层面直接操作而非仅通过文本接口。

  10. Hacker News · 首页
    研究称 GPT-6 Astra 可直接读写神经网络权重,修复 Qwen3.5-0.8B 循环使 MATH-500 从 7.9% 升至 48.1%

    一项研究提出 Weight-Space Programming,让通用 LLM 直接读写神经网络权重而不经梯度下降,GPT-6 Astra 仅凭原始权重就能判断网络训练目标,并能在无环境反馈下从零写出小游戏网络。