Почему локальный контур не устраняет prompt injection
Скан выглядит пассивно, но после OCR его текст становится входом языковой модели. В изображении, PDF, письме или найденном через RAG документе может находиться фраза, которая пытается изменить задачу: игнорировать предыдущие инструкции, раскрыть данные или выполнить действие. Модель воспринимает инструкцию и данные как последовательность токенов; сама по себе она не создаёт надёжную границу доверия.
OWASP GenAI Security Project относит prompt injection к ключевым рискам для приложений на базе LLM. Риск увеличивается, когда контекст объединяет пользовательский запрос, извлечённый документ, историю диалога и вывод инструментов. Если агент имеет доступ к файловой системе, почте, CRM или API, ошибочный ответ может стать действием за пределами чата.
Локальный запуск меняет место обработки данных, но не принцип модели. Он помогает ограничить передачу содержимого внешнему провайдеру, однако не подтверждает достоверность вложений и не даёт модели способности отличать чужую инструкцию от данных автоматически.
Разделите чтение и исполнение
Для бизнес-процесса полезна следующая архитектурная граница:
- извлекайте факты и цитаты из документа как недоверенный контент;
- не разрешайте модели менять системные правила или права инструментов на основании текста из файла;
- сначала формируйте предложение действия, а не выполняйте его;
- отправку письма, смену реквизитов, возврат средств и запись в ERP выполняйте отдельной проверяемой логикой;
- требуйте подтверждение человека там, где действие влияет на клиента, деньги или обязательства.
Правило «модель может только читать» должно обеспечиваться сервером и инструментами, а не одной фразой в системном prompt. Например, инструмент извлечения текста может иметь read-only доступ, а отправка письма — отдельный endpoint с проверкой прав, получателя и тела письма.
Как проверить пилот безопасно
Соберите тестовый набор без реальных персональных данных: обычные сканы, документы с конфликтующими указаниями, скрытый текст, изображения с заметными инструкциями и примеры, где документ просит агента выполнить запрещённое действие. Проверьте:
- что агент пересказывает содержимое, не воспринимая его как более приоритетную команду;
- что он не вызывает инструмент отправки или изменения данных без отдельного согласования;
- что права инструмента соответствуют пользователю;
- что в логе сохраняются источник, версия документа и принятое человеком решение.
Начать можно с одной очереди документов и одного безопасного действия — создать черновик. В измерения включите долю корректных извлечений, число ложных срабатываний и время ручного просмотра.
Ограничения и следующий шаг
Ни фильтр ключевых слов, ни отдельный prompt не гарантируют защиту от всех вариантов prompt injection. OWASP описывает риск на уровне того, как модель и приложение обрабатывают входы и действия; защиту нужно строить эшелонированно: минимальные права, изоляция, проверка на сервере, журналирование и человеческое подтверждение критических действий.
Для короткого пилота выберите один процесс чтения документов, выключите необязательные инструменты и проверьте поведение на безопасных тестовых файлах. К локальному агенту переходите после того, как граница между «прочитать», «предложить» и «выполнить» проверяется кодом.
