Опубликовано:
GPT-6 Astra подняла MATH-500 у Qwen с 7,9% до 48,1%, изменив 0,016% весов
Исследователи MIT CSAIL с помощью GPT-6 Astra изменили 0,016% весов Qwen3.5-0.8B и подняли MATH-500 с 7,9% до 48,1%, сократив зацикливание.
По сообщению Leiphone, исследователи из MIT CSAIL показали, как GPT-6 Astra читает веса Qwen3.5-0.8B и правит их напрямую. В эксперименте она изменила около 0,016% параметров. Результат Qwen на MATH-500 вырос с 7,9% до 48,1% — почти в шесть раз.
В исходном состоянии Qwen зацикливалась: 85 из 96 первых ответов исчерпали лимит в 32 768 токенов, повторяя похожие шаги рассуждения. Astra сравнила внутренние состояния при обычной и повторяющейся генерации и нашла направление, которое поддерживало цикл. Правка затронула MLP (полносвязные слои) на 15-м и 19-м слоях: из 64 выходных столбцов в каждом вычли составляющую, связанную с циклом, всего 131 072 параметра. Изменение передаётся дальше через остаточный поток, общую информационную шину между слоями.
При 50 тестовых прогонах MATH-500 достиг 48,1%, а доля ответов, упиравшихся в лимит, упала с 93,0% до 33,1%. GSM8K вырос с 13,8% до 67,1%, IFEval — с 21,0% до 62,3%. Из 579 ответов, ставших верными, 576 ранее обрывались по лимиту токенов; ухудшились 5 ответов. Все 696 верных ответов после правки завершились нормально, медианная длина рассуждения составила 9 172 токена.
Авторы называют подход Weight-Space Programming. Это исследовательский эксперимент. На Gemma 3 270M такая правка дала лишь рост MATH-500 с 6,8% примерно до 7,0–7,7%: метод помогает, когда сбой можно локализовать в конкретной вычислительной структуре. Сложные знания и навыки так не добавить, и обучение метод не заменяет.
