Если вы хоть раз генерировали картинку или видео через нейросеть, скорее всего под капотом работала диффузионная модель. На этой архитектуре построены Seedream, Seedance, Kling и Wan, и именно она сейчас главная в генерации изображений и видео. Разбираемся, что это за технология, как она работает и почему вытеснила почти все остальные подходы.
Что нужно знать о диффузионных моделях?
Вот главные факты, если нет времени читать всю статью.
| Вопрос | Ответ |
|---|---|
| Что это | Генеративная нейросеть, которая восстанавливает данные из шума шаг за шагом |
| Из каких шагов состоит | Прямой процесс (добавление шума) и обратный процесс (удаление шума) |
| Когда появились | Метод предложили в 2015 году, рабочую версию для изображений описали в 2020 году в статье о DDPM |
| На чем строят современные модели | Латентное пространство вместо пикселей и архитектура трансформера вместо U-Net |
| Чем отличается от GAN | Обучается стабильнее, дает более разнообразные результаты, но генерирует дольше |
| Сколько шагов нужно для генерации | От одного до нескольких десятков, в зависимости от модели и метода ускорения |
| Примеры | Seedream для изображений, Seedance, Kling и Wan для видео |
| Где используют кроме изображений | Видео, звук, 3D модели, химические и биологические структуры |
Что такое диффузионная модель?
Диффузионная модель это класс генеративных моделей в машинном обучении, которые создают новые данные, постепенно убирая шум из случайного сигнала.
Название пришло из термодинамики: исследователи, которые впервые предложили метод в 2015 году, вдохновлялись тем, как частицы вещества постепенно расходятся (диффундируют) в пространстве.
Идею для изображений довели до рабочего состояния в 2020 году в статье о вероятностных диффузионных моделях с шумоподавлением (DDPM, denoising diffusion probabilistic models), и именно эта работа стала отправной точкой для Stable Diffusion, DALL-E и большинства современных моделей изображений и видео.
Простыми словами диффузионную модель можно объяснить через каплю чернил в стакане воды. Капля чернил сначала выглядит четко, а затем постепенно растворяется в мутное облако – это прямой процесс.
Диффузионная модель учится делать обратное: взять мутную воду и шаг за шагом собрать чернила обратно в четкую каплю. Генерация изображения с нуля это именно такая сборка, только вместо чернил модель восстанавливает из случайного шума картинку, которую вы описали текстом.
Как работает диффузионная модель нейросети?
Диффузионная модель нейросети работает в два этапа: сначала она учится на прямом процессе, который превращает четкие данные в шум, а затем применяет обратный процесс, который превращает шум обратно в данные. Во время обучения модель видит только прямой процесс, а во время генерации использует только обратный.
Прямой процесс. Берется настоящее изображение, и к нему много раз подряд добавляется немного случайного гауссовского шума. Обычно это несколько сотен шагов. После всех шагов от исходной картинки не остается ничего, кроме чистого шума. Этот процесс устроен по строгим математическим правилам и не требует обучения, потому что известно заранее, сколько шума добавлять на каждом шаге.
Обратный процесс. Здесь и работает нейросеть. На каждом шаге модель получает зашумленное изображение и номер шага, а предсказывает, какой именно шум был добавлен на этом шаге. Зная шум, можно его вычесть и получить изображение чуть более чистым, чем было. Повторяя это предсказание шаг за шагом, модель постепенно восстанавливает четкую картинку из полного шума.
Когда вы пишете текстовый промпт, он влияет именно на обратный процесс: на каждом шаге модель предсказывает не просто шум, а шум, учитывая описание того, что должно получиться. Поэтому один и тот же случайный шум в начале с разными промптами превращается в разные изображения.
Генерация с нуля начинается со случайного шума, но у диффузионных моделей есть и другой режим, когда прямой процесс останавливают не в полном шуме, а на полпути, подмешав шум к вашей собственной картинке. Тогда обратный процесс восстанавливает не случайное изображение, а вариацию на основе того, что вы загрузили, это и лежит в основе редактирования изображений и image to image генерации.
Чем диффузионная модель отличается от GAN и других генеративных моделей?
Главное отличие в способе обучения: диффузионная модель учится предсказывать шум по понятной математической цели, а генеративно состязательная сеть (GAN, generative adversarial network) обучается через соревнование двух нейросетей, из за чего ее обучение менее стабильно.
У GAN генератор пытается создать изображение, похожее на настоящее, а дискриминатор пытается отличить подделку от оригинала. Обе сети обучаются одновременно, соревнуясь друг с другом, как фальшивомонетчик и эксперт, который ищет подделки. Если одна сеть начинает заметно опережать другую, обучение может застрять, а разнообразие результатов упасть, это известная проблема GAN под названием коллапс мод.
У диффузионной модели такой гонки нет. Есть только одна сеть, и у нее есть четкая цель на каждом шаге: правильно предсказать шум. Это и делает обучение более стабильным и предсказуемым. Плата за стабильность это скорость: GAN создает изображение за один проход через сеть, а диффузионной модели обычно нужно несколько шагов подряд, хотя современные методы ускорения сократили это требование до одного или нескольких шагов.
Есть и другие семейства генеративных моделей, например вариационные автокодировщики (VAE) и авторегрессивные модели, которые строят изображение или текст по частям, предсказывая следующий фрагмент на основе предыдущих.
У каждого подхода свой баланс между скоростью, качеством и стабильностью обучения, и именно поэтому диффузионные модели стали основным выбором для изображений и видео, а авторегрессивный подход остался основным для текста в больших языковых моделях.
Из чего состоит архитектура современной диффузионной модели?
Современная диффузионная модель почти никогда не работает напрямую с пикселями, а использует сжатое латентное пространство и текстовый кодировщик, чтобы понимать промпт. Такой подход впервые подробно описали в 2022 году в статье о латентных диффузионных моделях, на которой построены современные модели, включая Seedream.
- Автокодировщик и латентное пространство. Отдельная сеть сжимает изображение в компактное представление, которое в десятки раз меньше исходных пикселей. Диффузия происходит именно в этом сжатом пространстве, а не на полном изображении, поэтому генерация занимает заметно меньше вычислений.
- Текстовый кодировщик. Отдельная модель, например CLIP, превращает ваш текстовый промпт в числовое представление. Это представление подается в диффузионную сеть на каждом шаге обратного процесса, направляя ее в сторону нужного результата.
- Механизм внимания. Связывает текстовое представление с конкретными областями изображения, поэтому слово «красный» в промпте влияет именно на ту часть картинки, где должен появиться красный объект.
- Backbone, то есть основная сеть, которая предсказывает шум. Первые модели использовали архитектуру U-Net, сеть в форме песочных часов, которая сжимает изображение, а затем восстанавливает его обратно. Более новые модели заменили U-Net на диффузионный трансформер (DiT), ту же архитектуру, что лежит в основе больших языковых моделей, адаптированную для изображений и видео. На этой архитектуре построены, например, Seedream для изображений и Seedance, Kling и Wan для видео, согласно их официальным техническим отчетам.
Эти компоненты объясняют, почему диффузионные модели понимают сложные текстовые описания и при этом остаются достаточно быстрыми для обычных видеокарт, а не только для серверов дата центров.
Как обучают диффузионные модели?
Диффузионные модели обучают на огромных наборах пар «изображение и подпись», показывая сети зашумленную версию картинки и прося ее предсказать, какой шум был добавлен. Разница между предсказанным шумом и настоящим превращается в число ошибки, и модель постепенно подстраивает свои веса, чтобы эта ошибка уменьшалась.
- Данные. Наборы из сотен миллионов пар картинка и текстовое описание, собранные из открытого интернета, с последующей фильтрацией по качеству и безопасности.
- Расписание шума. Заранее заданная схема того, сколько шума добавляется на каждом шаге прямого процесса. От этой схемы зависит, насколько плавно модель будет учиться на разных уровнях шума.
- Функция потерь. Обычно это простая среднеквадратичная ошибка между настоящим и предсказанным шумом, несмотря на то что сама задача генерации изображений выглядит гораздо сложнее этой формулы.
- Условное обучение без классификатора. Метод, при котором модель во время обучения иногда видит текстовое описание, а иногда нет. Это позволяет при генерации усиливать влияние промпта на результат, выбирая, насколько сильно мы хотим следовать описанию.
- Дообучение. Готовую модель можно дополнительно обучить на меньшем наборе данных под конкретный стиль, персонажа или задачу, не трогая всю остальную модель. Популярный пример такого подхода называется DreamBooth.
Обучение диффузионной модели с нуля требует огромных вычислительных мощностей: речь идет о тысячах видеокарт и неделях непрерывного обучения, поэтому подавляющее большинство компаний дообучают существующие открытые модели, а не строят новую модель от первого шага.
Где применяют диффузионные модели ИИ?
Диффузионные модели ИИ сегодня лежат в основе большинства популярных генераторов изображений, а также все чаще используются для видео, звука и даже научных задач.
- Изображения. Seedream от ByteDance Seed построена на архитектуре диффузионного трансформера (DiT), согласно официальным техническим отчетам компании. Это самое известное и первое применение метода.
- Видео. Seedance, Kling и Wan генерируют видео, используя диффузионный трансформер: ролик строится похожим образом, как изображение, только сразу во времени, а не только в пространстве. Все три компании, ByteDance Seed, Kuaishou и Alibaba, подтверждают архитектуру DiT в своих официальных технических отчетах.
- Звук и музыка. Диффузионный подход применяют и для генерации речи и музыки, восстанавливая звуковую волну или ее спектральное представление из шума так же, как изображение восстанавливают из зашумленных пикселей.
- Редактирование изображений. Та же технология, которая генерирует картинку с нуля, лежит в основе inpainting (дорисовки части изображения) и outpainting (расширения изображения за его границы), потому что обратный процесс одинаково хорошо восстанавливает как случайный шум, так и специально зашумленную часть вашей собственной фотографии.
- Наука. Диффузионные модели используют и за пределами творческих задач: для предсказания структуры белков, проектирования новых молекул и материалов, где задача по сути та же самая, собрать осмысленную структуру из случайного шума.
Общий принцип везде один: модель учится на примерах того, как выглядит шум поверх реальных данных, а затем применяет это умение, чтобы превратить случайный сигнал в нечто осмысленное.
Сильные и слабые стороны диффузионных моделей
Сильные стороны
- Высокое качество и детализация. Пошаговое восстановление позволяет модели прорабатывать мелкие детали, которых часто не хватает другим подходам.
- Разнообразие результатов. Один и тот же промпт с разным случайным шумом на старте дает заметно разные, но одинаково правдоподобные изображения.
- Стабильное обучение. В отличие от GAN, здесь нет соревнования двух сетей, которое может сорваться, поэтому крупные лаборатории чаще выбирают именно диффузию для новых моделей.
- Гибкость задач. Одна и та же модель, при небольших изменениях, подходит и для генерации с нуля, и для редактирования, и для увеличения разрешения.
Слабые стороны
- Медленная генерация. Даже с ускоренными методами обратный процесс требует больше шагов, чем один проход через сеть, как у GAN, а значит и больше времени и вычислений на каждое изображение.
- Высокая цена обучения. Обучить такую модель с нуля могут позволить себе только крупные компании с доступом к тысячам видеокарт.
- Типичные артефакты. Руки с неправильным числом пальцев, нечитаемый текст на изображении и странности на границах объектов до сих пор встречаются, хотя новые версии моделей заметно реже их допускают.
- Сложный точный контроль. Получить ровно то расположение объектов или ту позу, что в голове у человека, через один текстовый промпт не всегда легко, и часто нужны дополнительные референсы или несколько попыток.
Диффузионные модели на SYNTX.AI
Понять, как работает диффузионная модель, проще всего на практике, наблюдая, как один и тот же промпт превращается в разные изображения. На SYNTX.AI доступны Seedream для изображений и Seedance, Kling и Wan для видео, все построенные на диффузионном трансформере, в одном интерфейсе, поэтому можно отправить одно описание нескольким моделям и сравнить результат.
- Откройте раздел с изображениями или видео на SYNTX.AI и выберите модель.
- Опишите сцену текстом и запустите генерацию.
- Запустите тот же промпт еще раз или в другой модели и сравните, как по разному каждая восстановила картинку из шума.
Частые вопросы
Что такое диффузионные модели простыми словами?
Это нейросети, которые учатся создавать картинку, видео или звук, восстанавливая их шаг за шагом из случайного шума, так же как капля чернил в воде восстанавливается из мутного облака обратно в четкую форму.
Чем диффузионная модель нейросети отличается от обычной генеративной нейросети?
Это не отдельный вид нейросети, а один из способов обучить генеративную модель. Диффузионная модель учится через предсказание шума шаг за шагом, в то время как GAN учится через соревнование двух сетей, а авторегрессивная модель строит результат по частям.
Какие диффузионные модели ИИ самые известные?
Seedream для изображений, а также Seedance, Kling и Wan для видео. Все они используют архитектуру диффузионного трансформера (DiT), согласно официальным техническим отчетам разработчиков.
Почему диффузионные модели генерируют дольше, чем другие нейросети?
Потому что результат получается через несколько повторяющихся шагов удаления шума, а не за один проход через сеть. Современные методы ускорения сокращают число шагов, но полностью не убирают разницу.
Можно ли обучить свою диффузионную модель?
Обучение такой модели с нуля требует огромных вычислительных ресурсов, поэтому на практике чаще дообучают уже готовую открытую модель на своих данных, а не создают новую с нуля.
