Индекс тоже имеет стоимость изменений

RAG-база не заканчивается после первоначальной загрузки. Новые версии инструкций, прайс-листов и регламентов нужно распознать, очистить, разделить на фрагменты, преобразовать в embeddings и записать в индекс. Сканы могут потребовать OCR, а контроль качества — выборочной проверки. Если каждый запуск заново обрабатывает весь архив, даже небольшие изменения могут создавать лишнюю работу.

Для обновления есть два подхода. Полная переиндексация строит корпус заново и проще контролируется, но повторяет вычисления по неизменным файлам. Инкрементальный процесс сравнивает версии или метаданные и обрабатывает только добавленные, изменённые и удалённые документы. Он снижает повторную работу, но требует надёжного идентификатора документа, синхронизации версий и корректного удаления старых фрагментов.

Модельный пример

Предположим, в базе 1 000 файлов по восемь страниц. За месяц меняется 10% документов. Полный прогон касается 8 000 страниц, а выборочный — примерно 800. Это в десять раз меньше страниц для распознавания и разбора, но не означает автоматического сокращения всего бюджета на 90%.

Сервер, хранилище, мониторинг, проверка качества и поддержка продолжают работать. В реальной системе стоимость также зависит от доли сканов, повторного OCR, длины документов, модели embeddings, требований к свежести и от того, как обнаруживаются удаления и переименования.

Чтобы оценка была полезна, измерьте полную цену обработки одной новой или изменённой страницы и отдельно постоянные ежемесячные расходы. Затем сравните полный и выборочный режим на копии одного корпуса.

Как устроить надёжное обновление

  • Храните стабильный ID документа, дату версии и хэш содержимого; путь к файлу может измениться.
  • При появлении новой версии удаляйте или заменяйте прежние точки, иначе поиск может вернуть устаревший фрагмент.
  • Для каждого чанка сохраняйте источник, страницу, версию и права доступа.
  • Проводите тестовые запросы до и после обновления и проверяйте, что выдача ссылается на актуальную редакцию.
  • Для удаления документа проверяйте не только основной индекс, но и кэш, резервные копии и поисковые представления по согласованным правилам хранения.

Инкрементальная загрузка не всегда безопаснее полной. Сломанный детектор изменений способен оставить в базе старые ответы; потерянное событие синхронизации — пропустить новый документ. Добавьте периодическую сверку перечня файлов, журнал заданий и сигнал о неуспешных обновлениях.

Выбор режима

Полная переиндексация удобна для небольшого корпуса, редких обновлений или смены модели embeddings. Инкрементальная — когда источников много и они меняются регулярно, а переобработка измеримо дорогая. При смене размерности или модели векторного пространства зачастую требуется отдельная миграция, а не простое обновление изменённых файлов.

Начните с одной папки и набора контрольных вопросов. Измерьте время, стоимость, долю ошибок и полноту удаления старых версий в обоих режимах. Если экономия заметна и качество сохраняется, распространите процесс на остальные источники. Не гонитесь за меньшим числом обработанных страниц, если из-за этого поиск начинает отвечать по устаревшим документам.