Что изменилось
17 сентября команда LocalAI выпустила версию 4.10.0. На странице Nodes вместо простого списка узлов появился обзор парка: состояние работников, доступные VRAM, RAM, CPU и диск, размещение запущенных моделей, а также групповые операции Drain, Resume и Remove. Это изменение касается прежде всего тех, кто уже обслуживает несколько машин с локальными моделями, а не владельца одного экспериментального сервера.
Ещё одно изменение — файл `credentials.yaml` для закрытых OCI-реестров, галерей и HTTP-источников моделей. Правила сопоставляются с адресом источника; секрет можно читать из переменной окружения или файла при обращении. Разработчики заявляют, что значения скрываются в логах и не передаются на другой хост при перенаправлении. Это полезно для внутреннего каталога моделей, но право доступа всё равно нужно выдавать по минимально необходимому принципу.
Команда `local-ai benchmark` замеряет задержку запроса и итоговую скорость генерации для настроенных текстовых моделей. Важно: это сквозной замер через HTTP, очередь и обработку запроса, а не измерение только скорости декодирования или времени до первого токена.
Практическое следствие
Российской компании, которая держит RAG или внутреннего помощника на двух и более локальных узлах, стало проще увидеть, где запущены копии модели и какой узел требует внимания. Перед обновлением стоит зафиксировать текущие задержки типовых запросов, проверить права к частным хранилищам и обновить сначала тестовый контур. Окупаемость нового интерфейса нельзя вывести из релизной заметки: она зависит от числа узлов, частоты инцидентов и времени администратора.
Существенное ограничение
Распределённый режим LocalAI требует PostgreSQL, NATS, сетевой доступности компонентов и включённой аутентификации. Новый экран управления не превращает одиночную установку в отказоустойчивый кластер. Документация отдельно предупреждает о риске незащищённой регистрации работников и передачи файлов при пустом токене; в рабочем контуре нужно требовать аутентификацию распределённого режима и проверять изоляцию сети.
На обложке — официальная схема распределённого режима LocalAI, а не скриншот нового экрана. Источник: репозиторий LocalAI, лицензия MIT; квадратная версия подготовлена редакцией из оригинала без изменения схемы.