Диффузионные модели — новая SOTA в задачах генерации изображений
#paper
Google представила диффузионную модель Palette, которая может решать сразу 4 задачи: image implanting, colorization, uncropping и JPEG decomposition. Это лучшая модель на сегодняшний день, которая умеет решать сразу все 4 задачи. Примеры работы — на видео к посту.
Более того, модель Palette, обученная на три из четырех задач (implanting, colorization и JPEG decomposition) показывает лучшие результаты, чем модели, которые учатся решать каждую из этих задач по отдельности.
Ссылки:
- блогпост (с кучей примеров работы)
- статья
Про диффузионные модели, кстати, мы писали тут
Еще раз замечу, что в последнее время все больше внимания обращено в сторону моделей, которые решают сразу несколько задач или работаеют сразу с несколькими модальностями. И такие модели часто достигают SOTA на отдельных узких задачах. Это значит, что обучение модели на решение сразу нескольких задач действительно помогает моделям лучше понимать природу данных.
#paper
Google представила диффузионную модель Palette, которая может решать сразу 4 задачи: image implanting, colorization, uncropping и JPEG decomposition. Это лучшая модель на сегодняшний день, которая умеет решать сразу все 4 задачи. Примеры работы — на видео к посту.
Более того, модель Palette, обученная на три из четырех задач (implanting, colorization и JPEG decomposition) показывает лучшие результаты, чем модели, которые учатся решать каждую из этих задач по отдельности.
Ссылки:
- блогпост (с кучей примеров работы)
- статья
Про диффузионные модели, кстати, мы писали тут
Еще раз замечу, что в последнее время все больше внимания обращено в сторону моделей, которые решают сразу несколько задач или работаеют сразу с несколькими модальностями. И такие модели часто достигают SOTA на отдельных узких задачах. Это значит, что обучение модели на решение сразу нескольких задач действительно помогает моделям лучше понимать природу данных.