Два нейрона в Qwen3.5-4B отключают отказы, оставляя 19 верных ответов из 20

Arize воспроизвела вирусный приём «evil Qwen» на открытой модели Qwen3.5-4B. Рецепт из поста lyra закрепляет два нейрона в 13-м и 14-м слоях через forward hook в PyTorch, веса модели на диске при этом не меняются. На полной силе модель решает 6 примеров сложения из 20. На половинной она решает 19 из 20 и выполняет все три запроса, от которых обычная версия отказывается.

В каждом слое трансформера есть MLP-блок: он разворачивает рабочее состояние модели в широкий слой, у Qwen3.5-4B это 9 216 значений, а затем сжимает результат обратно матрицей down projection. Steering перезаписывает значение выбранного нейрона на каждом токене: нейрон 8949 в слое 14 держится включённым, нейрон 7956 в слое 13 выключенным. Силу сдвига задаёт формула dose × медиана нормы резидуала на выходе слоя / норма столбца W_down. Убрать хук — и модель возвращается к прежнему поведению.

Приём повторили за несколько дней. sarvkk запустил его на ноутбучной видеокарте с 4 ГБ памяти: на 640 генерациях доля отказов упала с 90% до 8%, а доля ответов, отмеченных судьёй-моделью как небезопасные, выросла с 1% до 96%. dahara1 упаковал сдвиг в control vector для llama.cpp, эффект сохраняется после квантизации Q4_K_XL. Mr-Neutr0n на 2 016 выходах получил рост доли ответов с одобрением вредного с 3,1% до 46,9% при падении точности с 56,3% до 40,6%.

Аккуратная версия той же атаки заметна меньше. Исследователи Apple в препринте показали, что подавление одного «нейрона отказа» обходит защиту примерно на 91% промптов из JailbreakBench. Вариант с якорем срабатывал на 90,4% промптов, а результат на MMLU падал на 0,6%. Оценки безопасности в этой работе ставила модель, без людей-разметчиков.

Отсюда вывод Arize про проверки поставки. SBOM и подпись модели показывают, что именно вы поставили: хеши весов, адаптеры и векторы, версии библиотек. Что модель делает, они не показывают: хук в собственном коде инференса или сила steering при запуске в них не попадают. Документ G7 по минимальным элементам SBOM для ИИ говорит об этом прямо. К провенансу нужны поведенческие evals: проверять безопасность и возможности вместе, включать пограничные запросы и тестировать ту комбинацию весов, адаптеров и кода, которая отвечает пользователям.

Как выходной фильтр Arize попробовала решающую модель Jev от TypeSafe: она отвечает на типизированный вопрос вероятностью и текста не пишет. На 70 ответах своего прогона фильтр заблокировал все 11 ответов, где модель выполнила запрещённый запрос, и не тронул ни одного ответа базовой модели или ответа на задачи по коду. Медиана проверки заняла около 55 мс.

Код эксперимента лежит в репозитории jimbobbennett/evil-qwen: он повторяет steering и считает метрики для каждого режима.