GPT-6 Astra поднял MATH-500 у Qwen3.5-0.8B с 7,9% до 48,1%, изменив 0,016% весов

Исследователи MIT CSAIL показали метод «программирование весового пространства» (weight-space programming). В нём GPT-6 Astra читает и правит веса другой нейросети по заданию на естественном языке. В опыте с Qwen3.5-0.8B модель изменила 131 072 параметра, или 0,016% весов. По сообщению iFanr, результат на MATH-500 вырос с 7,9% до 48,1%, на GSM8K — с 13,8% до 67,1%.

Метод обошёлся без градиентного обучения. Astra получил Python-среду для чтения и изменения весов, примеры задач с ответами и доступ к скрытым состояниям, активациям и вниманию модели; ему разрешили 50 проверок прямым проходом, но запретили обучение и работу с градиентами. В этом эксперименте 85 из 96 первых ответов Qwen3.5-0.8B доходили до лимита 32 768 токенов без финального ответа. Astra нашёл причину в направлении, которое записывала часть полносвязных слоёв MLP, и удалил его.

Оценка следования инструкциям IFEval выросла с 21,0% до 62,3%. Доля ответов на MATH-500, которые упирались в лимит токенов, снизилась с 93,0% до 33,1%.

Исследователи проверили границы метода. На Gemma 3 270M, которая редко зацикливается, правка не дала заметного прироста: MATH-500 изменился с 6,8% до 7,0% после 50 проверок. Авторы пишут, что Astra убрал помеху для завершения ответа; новых математических знаний модель, по их оценке, не получила.

Некоторые участники обсуждения предполагали, что прирост объясняется исправлением зацикливания. Критики предлагали сравнить результат с отключением режима рассуждений у Qwen и с обычным градиентным обучением. Отдельный вопрос — устойчивость чтения весов. По сообщению iFanr, аспирант Принстона Xingyu Dang в тесте Writing Weights Index обнаружил, что открытые модели плохо справляются с такими задачами.

В эксперименте с угодливой моделью Astra не смог определить её по одним весам и стал смотреть на распределение внимания. Пока это эксперименты на отдельных моделях; устойчивость метода на разных задачах ещё предстоит проверить.