权重空间编程：当大模型开始直接读懂并改写另一个模型

一个大胆的设定：让模型直接改权重

把训练好的神经网络摊开成一大堆数字，交给另一个大模型去读——它能看出这个网络学会了什么吗？甚至能找到问题、直接改几个参数让它变强？

2026 年 11 月 2 日，MIT CSAIL 团队（Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab）公布了他们称之为「权重空间编程」（Weight-Space Programming）的研究：让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云 Qwen3.5-0.8B 的神经网络权重，仅调整约 0.016% 的参数，就把模型在 MATH-500 数学基准上的成绩从 7.9% 提升到 48.1%，约为原来的 6.1 倍。整个过程没有使用梯度下降，也没有走传统训练循环（IT之家）。

这个结果真正惊人的地方，不是"成绩提升了多少倍"，而是修改发生的方式：不是反向传播，不是微调，不是任何我们熟悉的训练过程，而是一个模型像读代码一样读懂了另一个模型的权重，然后亲手改写。

它先诊断，再动手

Astra 不是随机挑参数乱改。研究团队先发现 Qwen3.5-0.8B 有个具体毛病：它在回答数学问题时容易反复生成相同内容，陷入推理循环，大量回答直接耗尽 32768 个 Token 的长度上限——最初的 96 次测试回答里，有 85 次触顶。

随后 Astra 拿到了一个可以读取和修改权重的 Python 环境，并允许用 GSM8K 和 MATH 训练集的练习题做有限次前向推理。它定位到第 15 层和第 19 层 MLP（多层感知机）里写入的一种"重复方向"，只修改了这两层的部分权重，削弱了导致推理循环的信号。

最终修改了 131072 个权重，约占 Qwen3.5-0.8B 八亿参数的 0.016%。在允许 50 轮前向推理的设置下：

数据来自 IT之家。注意一个细节：Astra 并没有被要求优化指令遵循能力，但 IFEval 也涨了约三倍——修好推理循环之后，模型"听话"的程度跟着改善，这更像解除了一个卡脖子的障碍，而不是注入新能力。

边界同样重要：消除障碍，不等于凭空造能力

研究团队用 Gemma 3 270M 做了对照实验。这个模型原本很少出现推理循环，Astra 找不到类似的局部障碍可修，于是无论怎么改，MATH-500 最多只从 6.8% 提到 7.7%，几乎原地踏步。

结论很克制：权重空间编程擅长消除"模型已有能力发挥过程中的障碍"，但不一定能凭空创造模型原本不具备的能力（IT之家）。这其实是个令人安心的边界——它把"读懂权重并修改"框定在"解锁既有潜力"的范畴，而不是神话成无所不能的魔法。

从改权重到写权重

实验还不止于修改。Astra 还尝试了从零编写神经网络权重：在没有训练数据、梯度和训练过程的情况下，直接生成一个能运行游戏的策略网络，得分超过了经过大规模 PPO 强化学习训练的基线模型（36氪，量子位）。团队还让它只凭读取权重，识别模型训练过的游戏、判断小模型的训练语言。

这几个实验串起来，含义比"修好一个模型"更大：大模型开始具备把神经网络权重当作可读可写的"程序"来对待的能力。过去我们优化模型只能靠训练管线，现在似乎多了一条更直接的路径——让模型自己当"权重工程师"。

为什么这件事值得复盘

如果只看"0.016% 参数换 6 倍数学成绩"，容易把它当成猎奇新闻。但放在行业语境里，它触碰了三件更根本的事：

第一，可解释性的新入口。 权重空间编程要求模型先"读懂"另一个网络的权重结构，这本身就是对神经网络可解释性的一次压力测试。如果模型能指出"第 15 层和第 19 层写入了重复方向"，那它比绝大多数工具更接近"理解网络内部发生了什么"。

第二，模型调优的流程可能被改写。 今天的模型修复通常意味着重新训练或微调，成本高、周期长。权重级定点修改如果成熟，会带来"模型变更闭环"的新想象：每次权重、提示词、工具调整都能追溯、测试、回滚（贝有科技 AI 简报）。当然，这还很早期。

第三，递归自我改进（RSI）又多了一个支点。 当一个足够强的模型能读懂并修改另一个模型的权重，让 AI 参与优化 AI 自身的路径就不再只是抽象讨论。MIT 团队把这项研究与这条线联系起来，虽然距离"自我改进"还有很长的路，但方向已经摆在那里。

谨慎的一面

也要泼一盆冷水。实验对象是 0.8B 的小模型，修改窗口只有 50 轮前向推理，对照实验也说明"修障碍"的适用范围有限。更重要的是，整个流程依然依赖 GPT-6 Astra 这样的前沿模型去当"操作员"——谁又来理解 Astra 自己的权重呢？计算成本和可复现性也都没有答案。

权重空间编程现在更像一条刚被踩出来的小径，而不是一条修好的大路。但它提醒我们一件事：大模型的进化方式，可能不止"更大、更久、更多数据"这一条。让 AI 直接操纵神经网络的参数空间，听起来像科幻，如今有了第一组真实实验数据。这大概就是技术复盘的乐趣所在——在它成为常识之前，先看清它为什么值得关注。

（内容由AI生成，仅供参考）