Что произошло

16 сентября 2026 года Qdrant опубликовала собственную проверку SHIFT — способа уменьшить языковое смещение в многоязычном поиске. Это не новая модель и не функция Qdrant, которую достаточно включить настройкой. Метод меняет векторы документов перед записью в индекс. Для компании с русскими и иностранными инструкциями, договорами или базой знаний это повод проверить качество поиска, а не обещание немедленного улучшения.

Что показал эксперимент

Команда взяла модель multilingual-e5-small и набор XRAG: 15 277 статей на английском, немецком, испанском, арабском и китайском языках. Русского языка в этом испытании не было. После SHIFT полнота поиска Recall@10 для ответов на другом языке выросла с 0,083 до 0,240, а общая — с 0,195 до 0,297. Но полнота для ответов на том же языке упала с 0,608 до 0,488. На других двух наборах данных направление компромисса было похожим. Эти цифры принадлежат конкретному тесту Qdrant, не вашему корпусу.

Исходная работа авторов SHIFT предлагает оценивать «языковой сдвиг» по параллельным переводам. Полученный вектор вычитают из векторов документов при индексации; в сценарии Qdrant запрос не на опорном языке корректируют при поиске. В проверке Qdrant смещение зависело от корпуса: несколько сотен или тысяч переводных пар оказались практичнее универсальной поправки. Для семейства e5 важно не путать префиксы `query:` и `passage:` при расчёте и применении поправки.

Что это значит для бизнеса

Если сотрудники задают вопросы по-русски, а нужные ответы часто лежат в англоязычных документах, подход заслуживает пилота. Если вопрос и правильный документ обычно на одном языке, SHIFT может ухудшить выдачу. Начните с 50–100 реальных вопросов: отметьте язык вопроса и документа, сравните исходный поиск с экспериментальным индексом по Recall@10 и доле принятых сотрудником ответов. Отдельно проверьте русско-английские пары: опубликованные цифры Qdrant к русскому языку не относятся.

Для пилота нужны доступ к исходным документам и их языковым меткам, один фиксированный embedding-модельный стек, набор параллельных переводов и второй индекс для безопасного сравнения. Построение поправок и переиндексация требуют времени и ресурсов. Не меняйте рабочий индекс до проверки качества на своём наборе; права доступа к документам и проверка источника ответа остаются отдельными задачами.

На обложке — схема авторов SHIFT из открытого репозитория под лицензией MIT; она иллюстрирует языковой перекос выдачи, а не результаты испытания Qdrant.