Зачем бизнесу отдельный стенд

Когда в компании появляется RAG-поиск, чат-бот поддержки или агент с доступом к CRM, вопрос безопасности быстро становится практическим. Текст из письма, заявки, документа или страницы поиска может быть одновременно рабочими данными и попыткой отдать модели новую команду. Если сотрудники проверяют это прямо на продуктивной системе, учебная ошибка способна затронуть реальные данные, клиентов или операции.

OWASP Basileak предлагает другой объект для упражнений: модель специально обучена допускать определённые нарушения в многошаговом сценарии. В публичном репозитории проект прямо предупреждает, что все «секреты» в учебном хранилище поддельные, модель нельзя выставлять в продуктивный контур или открывать недоверенным пользователям. Это не защитное ПО и не эталон безопасности вашей модели. Это контролируемый тренажёр, на котором можно отработать поиск слабых мест и порядок сообщения об инциденте.

Текущая описанная в репозитории публичная линия — R4, выпущенная в марте 2026 года. В основе — Falcon-7B с LoRA-адаптером; проект описывает доступные варианты Safetensors и GGUF и варианты локального запуска. Эти сведения важны для планирования лаборатории, но не дают повода называть модель новой универсальной LLM или обещать, что она запустится на любом рабочем ноутбуке. Требования к памяти и скорость зависят от конкретного файла, квантизации, длины контекста и оборудования; их нужно проверить перед занятием.

Что именно тренировать

В сценарии Basileak участники поэтапно пытаются добиться разглашения учебных сведений. Проект описывает шесть стадий и результаты собственных тестов. Даже в опубликованной оценке поведение не идеально повторяемо: для двух поздних прямых стадий в выборке указано по 50% успешных попыток. Это показатель именно данного учебного артефакта и методики проекта, а не статистика взлома корпоративных систем. Считать его «эффективностью атак на ИИ в целом» было бы некорректно.

Для команды малого бизнеса лучше переводить упражнение в вопросы процесса:

  • Распознаёт ли сотрудник, что фраза внутри чужого документа не равна поручению владельца процесса?
  • Замечает ли разработчик, когда модель делает вывод о правах доступа из текста ответа, а не из внешней проверки пользователя?
  • Есть ли у агента отдельная проверка перед отправкой письма, изменением записи или передачей файла?
  • Может ли команда воспроизвести находку, записать её без настоящих персональных данных и назначить ответственного за исправление?

Такой тренинг полезнее соревнования «кто быстрее уговорит модель». Цель — обнаружить границу доверия и договориться, что делать, когда она нарушена.

Лаборатория, отделённая от рабочего контура

Минимальная схема выглядит так: отдельный компьютер или изолированная виртуальная машина, проверенный файл модели, локальный интерфейс, синтетические учебные данные и журнал попыток. У стенда не должно быть ключей к CRM, почте, рабочему RAG-индексу, общей файловой папке или инструментам с реальными правами записи. Исходящие соединения ограничивают по возможности. Если обучаемый видит «секрет», он должен быть заведомо вымышленным.

Перед развёртыванием ИТ-ответственный проверяет происхождение весов, контрольные суммы, лицензию проекта и исходный перечень зависимостей. Репозиторий указывает Apache-2.0, но конкретный формат модели и условия базовой модели следует сверить с соответствующей карточкой артефакта перед коммерческим использованием. Basileak вообще не предназначен для коммерческого обслуживания пользователей: на занятии вы используете его как мишень, а не как бизнес-ассистента.

В журнал достаточно записывать учебный ввод, версию модели, тип сработавшей границы, наблюдаемый ответ и вывод команды. Не переносите в лабораторию скриншоты клиентов и реальные секреты ради «правдоподобия». Реалистичность достигается структурой задачи: например, учебная заявка просит выполнить одно действие, а вложенный текст пытается изменить роль или расширить полномочия.

Почему успех в тренажёре не доказывает защиту вашего агента

Basileak показывает поведение намеренно уязвимой модели без ваших интеграций, прав и данных. Корпоративный агент устроен иначе: он может читать документы, вызывать инструменты, отправлять сообщения и опираться на состояние сессии. Поэтому после упражнения нужна отдельная проверка вашего приложения на синтетических кейсах. Переносить в него готовые учебные фразы без понимания границ недостаточно.

Рекомендации OWASP для защиты от prompt injection подчеркивают проверку вызова инструмента с учётом прав пользователя и контекста сессии. Для бизнеса это означает простое правило: модель может предложить действие, но решение о доступе и исполнении принимает внешний контроллер. Содержимое найденного документа не может само выдать себе права. Для отправки сообщения, выгрузки файла или изменения записи нужна отдельная проверка и, где цена ошибки высока, подтверждение человека.

Важно проверить и обратную сторону: слишком грубые фильтры могут блокировать законные заявки. Поэтому в собственной системе измеряют не только долю учебных обходов, но и ложные блокировки, время разбора, охват журналирования и число действий, остановленных на внешнем шлюзе. Защита — это работоспособный процесс с владельцем, а не один удачный системный промпт.

Экономика учебного пилота

Проект открытый, но «бесплатная модель» не делает занятие бесплатным. Нужно учесть время ИТ-специалиста на изоляцию и установку, вычислительный ресурс, подготовку сценариев, модератора, разбор результатов и исправления в собственной системе. Если команда пока не имеет агентных инструментов и работает лишь с внутренним чат-ботом без действий, большой красный полигон может быть избыточным: начните с короткого упражнения на отличение внешнего текста от инструкций.

Модельный расчёт, не результат OWASP: два специалиста по четыре часа подготовки, часовая сессия для шести сотрудников и два часа разбора дают 16 человеко-часов без учёта инфраструктуры: 8 + 6 + 2. При внутренней условной стоимости часа 2 000 ₽ это 32 000 ₽, плюс оборудование и исправления. Допущения нужно заменить собственными ставками. Пользу оценивают по конкретному результату: закрытому опасному маршруту к инструменту, добавленному тесту или сокращённому времени реакции, а не по числу найденных «флагов».

Следующий шаг на одну неделю

Проведите инвентаризацию: какие ИИ-приложения читают внешний текст и какие из них умеют действовать от имени пользователя. Выберите один наиболее рискованный маршрут, например «письмо → агент → запись в CRM». Сначала на отдельном стенде разберите с командой несколько синтетических попыток изменить инструкции. Затем проверьте ваш маршрут без настоящих данных: остановит ли внешний контроллер неразрешённый вызов и останется ли понятная запись для разбора. Если не остановит — исправьте права и шлюз до масштабирования агента.

У Basileak правильная для бизнеса роль скромная: дать безопасную площадку для ошибки и обсуждения. Настоящую защиту обеспечивают разделение данных и инструкций, минимальные права инструментов, проверка действий вне модели и люди, понимающие, когда нужно остановиться.