Тем временем ребята из лабы Лемпицкого (самого мощного исследователя в России, имхо) выпустили генеративную сетку для генерации таймлапсов. Зачем — пока не понятно, но к р а с и в о.
Под капотом там слегка модифицированный StyleGAN. А вот и ссылка на сам проект, где можно найти больше примеров.
Видел нечто похожее в SinGAN. Работают такие алгоритмы с анимацией по общему принципу. У вас есть латентное пространство, смещение в котором ведет к плавным изменениям картинки. Каким? Зависит от направления в котором сместились. Если знать в какую сторону двигаться, можно менять отдельные свойства (например небо) и достигать желаемых результатов. Все как в жизни. (Ну тут еще наверняка есть какие-то внешние ограничения чтобы зафиксировать сами объекты).
Под капотом там слегка модифицированный StyleGAN. А вот и ссылка на сам проект, где можно найти больше примеров.
Видел нечто похожее в SinGAN. Работают такие алгоритмы с анимацией по общему принципу. У вас есть латентное пространство, смещение в котором ведет к плавным изменениям картинки. Каким? Зависит от направления в котором сместились. Если знать в какую сторону двигаться, можно менять отдельные свойства (например небо) и достигать желаемых результатов. Все как в жизни. (Ну тут еще наверняка есть какие-то внешние ограничения чтобы зафиксировать сами объекты).