ShadowPEFT вошёл в PEFT: адаптер теперь можно запускать как модель

Что произошло

Авторы ShadowPEFT сообщили о включении метода в библиотеку Hugging Face PEFT версии 0.21.0. Он доступен через привычную точку входа `get_peft_model`, а обученные компоненты сохраняются и загружаются стандартными средствами PEFT.

PEFT — семейство методов, которые адаптируют большую модель под задачу без переобучения всех её весов. Самый известный вариант, LoRA, добавляет небольшие низкоранговые обновления к выбранным слоям. ShadowPEFT устроен иначе: рядом с замороженной базовой моделью работает компактная «теневая» сеть с собственным состоянием, которое проходит через глубину трансформера.

На каждом слое теневая сеть передаёт поправку основной модели, получает обратно новое представление и обновляет своё состояние. Базовые веса при этом остаются неизменными.

Главное отличие

После обучения ShadowPEFT можно оставить подключённым к большой модели или отсоединить через `unload_shadow()` и запускать как самостоятельную компактную модель. Авторы предлагают рассматривать это как вариант для гибридной схемы: простые запросы обрабатывает небольшой контур, а сложные передаются связке с большой моделью.

В опубликованных авторами сравнениях метод проверяли на математической задаче и персонализации генерации изображений. На одном текстовом эксперименте ShadowPEFT показал немного более высокую точность и меньший файл контрольной точки, чем LoRA и DoRA при близком числе обучаемых параметров, но потребовал больше пиковой памяти. Это результаты ограниченных тестов команды, а не универсальное доказательство превосходства.

Практический смысл

Для компании технология интересна там, где одну базовую модель нужно адаптировать под несколько процессов, а часть запросов желательно выполнять локально. Отдельный компактный компонент потенциально упрощает хранение версий и развёртывание специализированных вариантов.

Однако ShadowPEFT не является бесплатной заменой LoRA. У него другая архитектура, двойной путь вычислений и дополнительные требования к памяти. До промышленного применения стоит проверить поддержку конкретной модели, качество на собственном наборе задач, время обучения, задержку и расход видеопамяти.

Минимальный пилот — обучить LoRA и ShadowPEFT на одном и том же небольшом датасете, зафиксировать бюджет параметров и сравнить не только итоговую метрику, но и стоимость обучения, размер артефакта, скорость основного режима и качество отсоединённой модели.