Индекс тоже имеет стоимость изменений
RAG-база не заканчивается после первоначальной загрузки. Новые версии инструкций, прайс-листов и регламентов нужно распознать, очистить, разделить на фрагменты, преобразовать в embeddings и записать в индекс. Сканы могут потребовать OCR, а контроль качества — выборочной проверки. Если каждый запуск заново обрабатывает весь архив, даже небольшие изменения могут создавать лишнюю работу.
Для обновления есть два подхода. Полная переиндексация строит корпус заново и проще контролируется, но повторяет вычисления по неизменным файлам. Инкрементальный процесс сравнивает версии или метаданные и обрабатывает только добавленные, изменённые и удалённые документы. Он снижает повторную работу, но требует надёжного идентификатора документа, синхронизации версий и корректного удаления старых фрагментов.
Модельный пример
Предположим, в базе 1 000 файлов по восемь страниц. За месяц меняется 10% документов. Полный прогон касается 8 000 страниц, а выборочный — примерно 800. Это в десять раз меньше страниц для распознавания и разбора, но не означает автоматического сокращения всего бюджета на 90%.
Сервер, хранилище, мониторинг, проверка качества и поддержка продолжают работать. В реальной системе стоимость также зависит от доли сканов, повторного OCR, длины документов, модели embeddings, требований к свежести и от того, как обнаруживаются удаления и переименования.
Чтобы оценка была полезна, измерьте полную цену обработки одной новой или изменённой страницы и отдельно постоянные ежемесячные расходы. Затем сравните полный и выборочный режим на копии одного корпуса.
Как устроить надёжное обновление
- Храните стабильный ID документа, дату версии и хэш содержимого; путь к файлу может измениться.
- При появлении новой версии удаляйте или заменяйте прежние точки, иначе поиск может вернуть устаревший фрагмент.
- Для каждого чанка сохраняйте источник, страницу, версию и права доступа.
- Проводите тестовые запросы до и после обновления и проверяйте, что выдача ссылается на актуальную редакцию.
- Для удаления документа проверяйте не только основной индекс, но и кэш, резервные копии и поисковые представления по согласованным правилам хранения.
Инкрементальная загрузка не всегда безопаснее полной. Сломанный детектор изменений способен оставить в базе старые ответы; потерянное событие синхронизации — пропустить новый документ. Добавьте периодическую сверку перечня файлов, журнал заданий и сигнал о неуспешных обновлениях.
Выбор режима
Полная переиндексация удобна для небольшого корпуса, редких обновлений или смены модели embeddings. Инкрементальная — когда источников много и они меняются регулярно, а переобработка измеримо дорогая. При смене размерности или модели векторного пространства зачастую требуется отдельная миграция, а не простое обновление изменённых файлов.
Начните с одной папки и набора контрольных вопросов. Измерьте время, стоимость, долю ошибок и полноту удаления старых версий в обоих режимах. Если экономия заметна и качество сохраняется, распространите процесс на остальные источники. Не гонитесь за меньшим числом обработанных страниц, если из-за этого поиск начинает отвечать по устаревшим документам.
