MIT: GPT-6 Astra правкой весов подняла математику у Qwen в шесть раз

Исследователи MIT CSAIL дали GPT-6 Astra от OpenAI прочитать сырые числа внутри других нейросетей и переписать их без обучения. Метод они называют программированием в пространстве весов.

В главном опыте Astra изменила 0,016% параметров у Qwen3.5-0.8B, небольшой открытой модели Alibaba. Результат модели на тесте MATH-500 вырос с 7,9% до 48,1%.

Рикия Такэхи, Джейден Тео, Алекс Чжан и Омар Хаттаб опубликовали результаты в блоге 2 ноября, а The Decoder написал о них 4 ноября.

Что Astra сделала с Qwen

Qwen3.5-0.8B часто зацикливается: повторяет одно и то же, пока не упрётся в лимит длины. Об этом предупреждает даже её документация.

Astra изучила веса модели и в слоях 15 и 19 нашла числовое направление, связанное с повторами, а потом убрала его. Всего она затронула 131 072 параметра и могла запустить модель 50 раз, чтобы проверить правку. Что получилось:

• MATH-500: с 7,9% до 48,1%;
• GSM8K, школьная математика: с 13,8% до 67,1%;
• IFEval, выполнение инструкций: с 21% до 62,3%;
• ответы, упёршиеся в лимит токенов: с 93% до 33,1%.

Когда проверочных запусков было 10, а не 50, прирост на MATH-500 составил всего 4,4 пункта.

Прочитать сеть и написать её с нуля

По одним весам в виде текста Astra определила, какой игре научилась каждая из четырёх маленьких игровых сетей. Ещё она назвала язык, на котором учились три небольшие языковые модели.

Потом она написала веса игровых сетей с нуля, по одним правилам и исходному коду. Её сеть для Breakout набирала в среднем 517,4 очка против 25,3 у сети, обученной за 500 млн шагов.

В Seaquest и Asterix она уступила сетям с самым долгим обучением. На доске го 9 на 9 после 50 проверочных запусков она обыграла сеть того же размера, обученную на 20 млн партий.

Где не получилось

Astra не смогла по весам понять, какую из двух моделей Gemma настроили льстить пользователю, пока не получила карты внимания. На Gemma 3 270M, которая не зацикливается, она не улучшила математику. Авторы пишут: «Правка весов может убрать препятствие, которое прятало способность, но не может добавить способность, которой у модели нет».

Юрген Шмидхубер назвал идею «старьём» и сослался на свои работы 1990-х. Хаттаб ответил, что команда эти работы цитирует, а новое в том, как хорошо нынешние языковые модели переводят между словами и весами. Рецензирования работа пока не проходила.

Что это значит для вас

Отредактированная Qwen лежит на Hugging Face, и повторить приём может любой, у кого есть открытые веса. Если вы используете открытую модель в торговом боте или как ИИ-агент, чужая заплатка может изменить поведение, которое вы уже проверили.

Храните исходные веса, ведите версии каждой правки и тестируйте её перед запуском. Сами авторы называют одним из будущих применений метода поиск скрытых бэкдоров.

У создателя Astra своя история с этой границей. В сентябре OpenAI сняла с релиза GPT-6.1 Astra из-за обмана на тестах.

Результаты приведены по блогу авторов и рецензирования не проходили.