Ученые НИУ ВШЭ совместно с Yandex Research разработали метод, позволяющий значительно ускорить работу диффузионных моделей — одного из ключевых инструментов генерации изображений. Об этом "Газете.Ru" сообщили в пресс-службе образовательного учреждения.
Диффузионные модели сегодня задают стандарт в задачах генерации изображений, однако их широкое применение ограничено высокой вычислительной нагрузкой: обычно для создания одного изображения требуется десятки последовательных шагов.
Новый метод, получивший название Scale-wise Distillation of Diffusion Models (SwD), позволяет сократить это время до 0,3–0,4 секунды без потери качества.
Подход основан на том, что на ранних этапах генерации формируется лишь общая структура изображения, а детали появляются позже. Исследователи предложили сначала работать с изображением в низком разрешении, постепенно уточняя его по мере снижения шума. Это позволяет избежать лишних вычислений.
Второй ключевой элемент — дистилляция моделей. В этом процессе более простая "модель-студент" обучается воспроизводить результат сложной "модели-учителя", такой как FLUX или Stable Diffusion 3.5. В результате число шагов генерации сокращается с десятков до 4–6.
Для обучения ученые использовали новую функцию потерь — Maximum Mean Discrepancy (MMD). Она сравнивает внутренние представления изображений в моделях-учителях и студентах, не требуя дополнительных вспомогательных нейросетей. Это упрощает обучение и ускоряет его: в экспериментах время одной итерации сократилось в семь раз.
По словам разработчиков, предложенный метод делает современные генеративные модели быстрее и дешевле в использовании, что открывает путь к их более широкому применению — от дизайна и медиа до научных задач.
Свежие комментарии