В своём видео специалист Яндекса простыми словами хорошо объясняет как работают диффузионные нейронные сети при генерации картинок или видео.
Если немного подробнее, то для создания (обучения) диффузионной модели необходимо:
1. Взять начальное изображение.
2. Итеративно добавить Гаусовский шум, пока от исходного ничего не останется, только "облако" из пикселей.
3. Обучить модель шумоподавления приводя это облако к результату, похожему на исходное изображение.
Общая концепция генерации: создайте чистый Гаусовский шум и дайте его обученной модели шумоподавления, чтобы получить абсолютно новое изображение.
Подписаться на Нейроскептик
Если немного подробнее, то для создания (обучения) диффузионной модели необходимо:
1. Взять начальное изображение.
2. Итеративно добавить Гаусовский шум, пока от исходного ничего не останется, только "облако" из пикселей.
3. Обучить модель шумоподавления приводя это облако к результату, похожему на исходное изображение.
Общая концепция генерации: создайте чистый Гаусовский шум и дайте его обученной модели шумоподавления, чтобы получить абсолютно новое изображение.
Подписаться на Нейроскептик