Почему фильтры нужно продумать заранее
В корпоративном поиске похожесть текста — не единственное условие. Сотрудник может видеть документы только своего филиала, действующие инструкции, определённый продукт или документы нужного подразделения. Такие ограничения обычно лежат в метаданных документа: tenant, филиал, тип, статус, дата действия, владелец.
В Qdrant фильтр работает по payload — структурированным полям, хранящимся рядом с вектором. Если поле часто участвует в фильтрации, для него можно создать payload-индекс. Документация Qdrant рекомендует создать такие индексы до загрузки данных: тогда при построении HNSW могут добавиться рёбра, которые помогают поиску с фильтрами. Если индекс создаётся после загрузки, фильтр продолжит работать, но чтобы использовать filter-aware edges, потребуется перестройка HNSW.
Сначала вопросы, потом схема индекса
Не нужно индексировать каждое поле «на всякий случай». Дополнительный индекс требует вычислительных ресурсов и памяти. Выбирать поля стоит по реальным запросам пользователей и логике доступа.
Для небольшой команды полезно пройти короткий инвентаризационный цикл:
- собрать 10–20 вопросов, которые сотрудники действительно задают внутренней базе;
- выписать поля, которыми ограничивается поиск: филиал, вид документа, статус или период;
- определить, кто и в каком источнике поддерживает каждое значение;
- проверить, что значения нормализованы и не дублируются под разными написаниями;
- создать только индексы для полей, которые нужны фильтрам или политике доступа.
Если документы разных организаций или подразделений находятся в одной коллекции, tenant или филиал — не просто удобство для поиска. Это часть границы доступа. Нельзя полагаться только на prompt модели: фильтр должен применяться на стороне retrieval, а права пользователя — проверяться сервисом, который формирует запрос к векторному хранилищу.
Что проверять в прототипе
Создайте небольшую тестовую коллекцию и сравните запросы с фильтром и без него. Измеряйте не только среднюю задержку, но и p95 на типичных и «узких» фильтрах. Проверьте, что поиск не возвращает документы соседнего филиала, архивные инструкции или материалы без нужного статуса. Затем оцените размер payload-индексов и нагрузку на обновление.
Qdrant отмечает, что для отфильтрованного поиска дополнительные HNSW-рёбра добавляются для каждого индексированного поля по отдельности, а не для каждой комбинации полей. Поэтому сочетание нескольких строгих фильтров всё равно может потребовать отдельной проверки релевантности и задержки. Комбинации могут дать другой результат, чем каждый фильтр отдельно.
Если коллекция уже заполнена
Поздний payload-индекс не обязывает загружать документы заново, но для filter-aware HNSW нужно перестроить граф. Такая операция ресурсоёмкая и может занять время на большой коллекции. До перестройки проверьте объём, план обслуживания, дисковое пространство и возможность безопасно перенести нагрузку. На небольшом прототипе это простой эксперимент; на рабочей базе — изменение, которое нужно планировать.
Экономика и границы применимости
Избыточные индексы увеличивают память и стоимость обслуживания; недостаточные могут ухудшить время поиска или помешать эффективной фильтрации. Не существует универсального списка полей для всех баз знаний. Профиль обращений бухгалтерии, поддержки и отдела продаж будет различаться, как и требования к доступу.
Начните с десяти реальных вопросов и таблицы «поле — зачем нужен фильтр — кто заполняет — кто имеет право видеть». После этого создайте коллекцию с минимальным набором индексов, проверьте качество и p95, а уже затем переносите объём. Такой порядок дешевле, чем перестраивать большой граф после обнаружения, что важное поле забыли.
