Почему красивое демо не отвечает на главный вопрос

Сотрудник задаёт чат-боту удобный вопрос, получает связный ответ и видит ссылки на документы. Демонстрация проходит успешно — но руководителю всё ещё неизвестно, сократит ли система время поиска и будет ли она выбирать актуальную инструкцию, а не похожий файл из старой папки.

В RAG (генерации с дополнением поиском) итог зависит как минимум от двух компонентов. Сначала система ищет фрагменты в корпоративных материалах, затем языковая модель формирует ответ на основе найденного контекста. Если поиск не нашёл нужное правило, модель не сможет надёжно «догадаться» о нём. Если нужный текст найден, модель всё равно может пропустить важное условие, неверно объединить две версии или сослаться не на тот фрагмент.

Поэтому пилот стоит оценивать не одним вопросом «понравился ли ответ?», а раздельно: что нашёл поиск, что написала модель, какие источники показаны пользователю, как система ведёт себя при пробеле в документах и сколько стоит один полезный ответ.

Сначала выберите один процесс и его документы

Не начинайте с задачи «загрузить в ИИ всю компанию». Для первого теста выберите повторяющийся сценарий с понятным владельцем и ограниченным набором материалов. Например, ответы сотрудникам о возвратах, правилах гарантии, доставке, согласовании скидок или типовых настройках продукта.

Зафиксируйте границы:

  • кто задаёт вопросы и какие решения вправе принимать на основе ответа;
  • где находятся документы и кто отвечает за актуальность каждой версии;
  • какие материалы можно показывать этой роли, а какие должны оставаться закрытыми;
  • что считается правильным результатом: точная цитата, короткое объяснение, ссылка на процедуру или передача специалисту;
  • какие ошибки опасны и должны останавливать автоматический ответ.

Если на один и тот же вопрос в разных местах лежат противоречащие правила, сначала назначьте владельца и разберите версии. Индекс ускоряет поиск по документам, но не решает, какой из двух внутренних регламентов компания считает действующим.

Соберите набор вопросов до настройки модели

Начните с реальных, обезличенных запросов из почты, чатов, заявок или вопросов сотрудников. Удалите персональные данные, цены и клиентские сведения, если они не нужны для теста. В качестве стартового набора полезно взять 30–50 вопросов: этого достаточно, чтобы быстро найти типовые сбои, но недостаточно для заявления о готовности к промышленной эксплуатации.

Для каждого вопроса подготовьте эталонную карточку:

  • ожидаемый ответ или перечень фактов, которые должны быть упомянуты;
  • документ и фрагмент, подтверждающие эти факты;
  • допустимые альтернативные формулировки;
  • условие, при котором система должна уточнить вопрос, отказаться или передать его сотруднику;
  • уровень риска ошибки.

В набор намеренно включите разные случаи: прямой вопрос, разговорную формулировку, синонимы, опечатку, вопрос с несколькими условиями, запрос по старой и новой версии инструкции, отсутствующий ответ и нерелевантный запрос. Тест только на вопросах, которые легко сформулировать как заголовок документа, обычно переоценивает качество.

Сохраняйте исходный набор неизменным как контрольный. Когда вы исправите разбиение текста или измените параметры поиска, сравнивайте новую версию на тех же запросах. Отдельно добавляйте новые примеры ошибок, не заменяя ими старые: иначе улучшение по одному частному случаю может скрыть регрессию.

Проверяйте поиск и генерацию отдельно

Для каждого тестового вопроса сохраните не только финальный ответ, но и трассу: исходный запрос, преобразованный запрос (если он менялся), найденные фрагменты, их порядок и оценки, версии документов, ответ, ссылки или цитаты, время и число использованных токенов.

Затем разберите два разных вида качества.

**Качество поиска.** Попал ли подтверждающий фрагмент в первые 3–5 результатов? Не вытеснила ли нужное правило похожая, но устаревшая инструкция? Нашлись ли сразу все документы, если ответ зависит от нескольких условий? Есть ли в выдаче источник, к которому у пользователя нет доступа?

**Качество ответа.** Использует ли ответ только найденные основания? Верно ли он передаёт исключения, сроки и числовые значения? Цитата действительно подтверждает соседнее утверждение? Если в документах нет ответа, система признаёт пробел или сочиняет уверенное продолжение?

Разделение помогает выбирать правильное исправление. Если нужный документ не попал в выдачу, настройка промпта мало поможет: сначала меняйте качество исходных данных, фильтры, разбиение, поиск или ранжирование. Если контекст хороший, но ответ неполный, проверьте инструкции модели, ограничение длины, структуру ответа и то, как цитаты связываются с утверждениями.

Документация Microsoft для оценки RAG также разделяет оценку этапа извлечения и оценку итогового ответа: для поиска можно сравнивать выдачу с размеченными релевантными документами, а для ответа отдельно проверять обоснованность контекстом, соответствие вопросу и полноту. Это описание конкретных инструментов Microsoft, а не обязательный выбор платформы для российского бизнеса. Работа RAGChecker, опубликованная в сборнике NeurIPS 2024, также рассматривает диагностику retrieval- и generation-компонентов по отдельности. Практический вывод проще терминологии: один общий балл не объясняет, где именно сломался сценарий.

Используйте простые метрики, но проверяйте их людьми

Для небольшого пилота не нужно сразу внедрять сложную систему оценок. В таблице на каждый прогон достаточно записывать:

  • **попадание источника:** есть ли нужный фрагмент среди первых 3 или 5 результатов;
  • **полнота поиска:** найдены ли все источники, которые нужны для ответа;
  • **обоснованность:** каждое ли проверяемое утверждение подтверждается найденным материалом;
  • **правильность и полнота ответа:** учтены ли условия, исключения и ожидаемые факты;
  • **отказ или эскалация:** отказалась ли система от ответа, когда данных недостаточно;
  • **операционные показатели:** задержка, стоимость модели и поиска, доля повторных вопросов и исправлений.

Смотрите не только среднее. Отдельно посчитайте ошибки в критичных вопросах и их типы: устаревшая версия, потерянное исключение, неправильное право доступа, выдуманная цифра, неверная цитата, чрезмерно длинный ответ. Для бизнеса одна опасная ошибка в процедуре может иметь большее значение, чем десять удачных справочных ответов.

Автоматический оценщик на базе языковой модели может ускорить первичную разметку, но не становится независимым арбитром. Он тоже ошибается и иногда предпочитает гладкий ответ точному. На старте владелец процесса или подготовленный эксперт должен проверить все ответы тестового набора. Позже можно выборочно проверять результаты и сопоставлять автоматические оценки с человеческими.

Установите порог допуска до запуска

Заранее запишите, что будет считаться достаточным результатом. Например, для низкорискового внутреннего справочника команда может потребовать, чтобы не менее 9 из 10 контрольных запросов находили подтверждающий источник в верхних результатах, а все вопросы из списка критичных проходили проверку человеком без существенной ошибки. Это иллюстрация управленческого порога, а не универсальный отраслевой стандарт; его нужно выбрать по цене ошибки и нагрузке процесса.

Можно начать с трёх исходов:

  • **зелёный:** ответ с подтверждающими источниками, система доступна для ограниченной группы пользователей;
  • **жёлтый:** найден только часть материала или уверенность недостаточна — система показывает выдержки и передаёт вопрос сотруднику;
  • **красный:** нет надёжного источника, обнаружен конфликт версий или ошибка доступа — ответ не формируется, инцидент попадает владельцу базы.

Для кадровых, финансовых, медицинских, юридических и иных чувствительных решений одного внутреннего порога недостаточно. Нужны профильные проверки, права доступа, журналирование и человеческое подтверждение; иногда RAG должен лишь готовить справку, а не выдавать решение.

Архитектура пилота без лишней агентности

Для первого релиза обычно хватает прямого потока: авторизация пользователя, поиск в разрешённых документах, ранжирование нескольких фрагментов, генерация ответа с источниками, проверка формы результата и журналирование. Агент с самостоятельными действиями не исправит плохой каталог или противоречивые регламенты. Добавляйте его только если сценарий действительно требует последовательных действий, например получить уточнение, проверить остатки в системе и создать черновик заявки.

Минимальные технические требования:

  • сохранять источник, дату версии, владельца и права доступа рядом с каждым фрагментом;
  • применять фильтрацию доступа во время поиска, а не после выдачи ответа;
  • не передавать модели весь архив, если достаточно нескольких релевантных фрагментов;
  • показывать название документа и точный фрагмент, а не декоративную ссылку без доказательства;
  • считать содержимое документов недоверенным вводом: инструкция внутри PDF не должна менять системные правила или права агента;
  • предусмотреть обновление и удаление записей из индекса, а также удаление персональных данных;
  • хранить контрольный набор отдельно от промптов и тестовых ответов.

Локальная модель уместна, если требования по данным, автономности или предсказуемой стоимости этого требуют и компания готова обслуживать оборудование, обновления и наблюдаемость. Облачная модель может быть проще для краткого пилота, если передача данных разрешена и провайдер проходит проверку. Сам RAG не определяет, где обрабатываются документы: это отдельный выбор контура и договора.

Считайте не цену токена, а цену полезного ответа

В расчёт включите подготовку документов, очистку дубликатов, разметку тестов, настройку поиска, использование модели, индексацию, поддержку прав, логи, контроль качества, сопровождение и время сотрудников на исправления. Для сравнения вариантов полезно делить ежемесячные затраты на ответы, которые прошли критерии качества, а не на все ответы системы.

На пилоте зафиксируйте исходное время процесса: сколько минут сотрудник тратит на поиск и проверку одного ответа, сколько запросов приходит, как часто вопрос передают другому специалисту. После теста измерьте те же показатели. Экономия времени не равна прямому сокращению затрат, если высвободившаяся нагрузка не используется на полезную работу; а стоимость ошибки, задержки и дополнительной проверки может перевесить экономию на поиске.

План на две недели

1. Выберите один процесс и договоритесь с его владельцем о цене ошибки.
2. Соберите и очистите документы, проверьте версии и права.
3. Подготовьте контрольный набор вопросов с источниками и ожидаемыми ответами.
4. Запустите простую базовую конфигурацию и сохраните трассы поиска.
5. Разберите промахи по категориям: данные, поиск, права, генерация, интерфейс.
6. Измените по одному существенному параметру и повторите тот же контрольный набор.
7. Сравните качество, задержку, стоимость и время сотрудника с исходным процессом.
8. Решите: ограниченный запуск, новый цикл улучшения или отказ от RAG в этом процессе.

Что взять руководителю

Попросите команду показать на одном и том же контрольном наборе не только ответы, но и найденные документы, ошибки, затраты и отказы. Если поставщик или внутренняя команда не может объяснить, почему ответ считается правильным, демо ещё не является доказательством готовности к работе.