Что изменилось

16 сентября 2026 года вышел OpenVINO 2026.4. В примечаниях к релизу Intel указывает поддержку speculative decoding с Multi-Token Prediction (MTP) для Gemma 4, Qwen3.5 и Qwen3.6 на CPU и GPU. В компоненте OpenVINO GenAI отдельно перечислена поддержка MTP для Qwen3.5, Qwen3.6 и Qwen3.8. Это обновление исполняющего стека, а не выпуск новых весов моделей и не обещание одинакового ускорения на любом компьютере.

Спекулятивное декодирование позволяет предложить несколько следующих токенов и проверить их основной моделью. Заявленное разработчиком снижение задержки и рост пропускной способности нужно воспроизвести на своей модели, размере контекста и оборудовании. Пакет OpenVINO GenAI 2026.4.0.0 также опубликован в официальном репозитории проекта.

Где это полезно бизнесу

Для локального помощника по внутренним документам или обработки обращений это повод повторно измерить стоимость и скорость уже выбранной модели на имеющихся Intel CPU и GPU. RAG, разграничение доступа и проверка ответа остаются отдельными частями системы: ускорение генерации не делает неверный документ верным.

Практический тест: зафиксировать версию модели и драйверов, прогнать одинаковые запросы до и после обновления, сравнить время первого токена, время полного ответа, p95 при рабочей нагрузке, потребление памяти и стоимость одного принятого ответа. Сначала — в тестовом контуре, без переключения боевого сервиса.

Ограничение и источник изображения

Поддержка MTP касается перечисленных моделей и конфигураций; требования к памяти, лицензия весов и качество русскоязычных ответов зависят от конкретной модели. Не следует переносить результаты с одного GPU на другой без измерения. На фото — Intel Arc A770 как пример локального GPU, а не подтверждение теста этой карты в релизе 2026.4.

Фото: Telaneo, Wikimedia Commons, CC0 1.0; квадратный кроп редакции. [Исходное изображение](https://commons.wikimedia.org/wiki/File:Intel_Arc_A770_front.jpg), [условия CC0](https://creativecommons.org/publicdomain/zero/1.0/).

Первоисточник: [примечания к выпуску OpenVINO 2026.4](https://docs.openvino.ai/2026/about-openvino/release-notes-openvino.html).