Что обнаружили исследователи

10 ноября Microsoft Research описала Lazarus — экспериментальный способ изменить менее десяти редко активирующихся нейронов языковой модели так, чтобы она при заданном триггере выдавала заранее встроенную команду. В опубликованной работе на Nemotron-Terminal-8B семь изменённых нейронов из более чем 12 тысяч срабатывали на триггерных тестах; авторы также проверяли перенос метода на Qwen3.6-27B и Gemma-4-31B-IT. Это лабораторный результат, а не свидетельство уже происходящих атак.

Важно, что обычные проверки поведения могут не увидеть условный сценарий: модель отвечает штатно, пока в контексте не появляется нужная строка. Если агенту доступны терминал, сеть или рабочие файлы, риск зависит не только от модели, но и от полномочий, выданных ей в инфраструктуре. Microsoft отдельно сообщила, что не наблюдала применения именно этой техники злоумышленниками.

Что это меняет для небольшой компании

Практический вывод не в том, чтобы отказаться от открытых весов или локального ИИ. Речь о цепочке поставки: скачанный checkpoint, квантизация, дообучение, адаптеры и внутренние копии могут отличаться от исходного файла. Чем проще агенту выполнять команды и обращаться к данным, тем важнее знать, кто и когда изменял модель.

Для пилота достаточно начать с управляемого процесса, а не с дорогостоящей системы анализа нейросетей:

  • скачивать модели только от объявленного издателя и фиксировать версию и контрольные суммы;
  • хранить утверждённые файлы в закрытом реестре, не разрешая агенту скачивать произвольные веса при запуске;
  • проверять изменения до обновления и после него; легитимная квантизация тоже меняет веса, поэтому простой «diff» не является доказательством атаки;
  • ограничивать агенту доступ к shell, файловой системе, секретам и исходящим соединениям; значимые действия оставлять за подтверждением человека;
  • сначала тестировать обновления в изолированной среде и вести журнал вызовов инструментов.

Microsoft предлагает дополнять сравнение весов тестами на скрытые триггеры и автоматизированным анализом аномалий. В статье IT Pro отмечается, что для промышленного применения такого аудита нужны понятные показатели качества, ложных срабатываний и стоимости. Сам Microsoft также предупреждает: аудит снижает риск, но не доказывает безопасность модели.

С чего начать

Составьте короткий реестр моделей, уже используемых сотрудниками и сервисами: источник, версия, хэш файлов, ответственный владелец, разрешённые инструменты и данные. Затем выберите одного агента с наиболее существенными полномочиями и уменьшите их до необходимого минимума. Для большинства малых команд это даст более практичный первый барьер, чем попытка вручную интерпретировать миллиарды параметров.

Результаты Microsoft показывают, что проверка только ответов модели недостаточна, если она может действовать через инструменты. Для бизнеса защита складывается из происхождения модели, контроля обновлений, минимальных полномочий и наблюдаемости действий.