MIT研究人员提出“权重空间编程”：GPT-6 Astra仅修改Qwen3.5-0.8B约0.016%的权重，数学成绩提升约6倍
MIT CSAIL研究人员提出“权重空间编程”方法：让语言模型直接读取并修改另一个神经网络的权重，而非通过梯度下降训练模型。在一项实验中，GPT-6 Astra修改了Qwen3.5-0.8B的131,072个权重，约占其参数的0.016%，以解决推理时反复生成相同内容的问题。模型在MATH-500上的成绩从7.9%升至48.1%，在GSM8K上从13.8%升至67.1%，在IFEval上从21.0%升至62.3%。实验使用Python环境分析权重，并进行了最多50轮前向推理，但没有使用反向传播训练。对于很少出现此类循环的Gemma 3 270M，提升幅度较小。研究人员表示，这种方法可能消除妨碍模型发挥现有能力的障碍，但不一定能创造模型原本不具备的能力。
本文来源：IT之家，仅供学习参考，版权归原作者所有。