Еще одна работа по генерации фото из скетчей. Интересно что применение такого алгоритма автора видят в поиске изображений по рисунку (нууу, такое, не знаю как много людей захотят этим воспользоваться). Помимо этого, конечно, применений мало. До просто прикольной рисовалки еще далеко, слишком мало данных и они слишком ограничены, поэтому помимо ботинка много не нарисуешь.
Для тренировки используется cycle loss, это когда скетч сначала пропускают в одну сторону чтобы сгенерировать реальное фото, а потом сгенерированный результат прогоняют в обратную сторону чтобы получить исходный скетч. Таким образом можно оптимизировать похожесть начального и конечного скетчей и тренировать модель даже не имея пар скетч-фото, а просто кучу скетчей и кучу фото. Хороший пример unsupervised learning.
Для тренировки используется cycle loss, это когда скетч сначала пропускают в одну сторону чтобы сгенерировать реальное фото, а потом сгенерированный результат прогоняют в обратную сторону чтобы получить исходный скетч. Таким образом можно оптимизировать похожесть начального и конечного скетчей и тренировать модель даже не имея пар скетч-фото, а просто кучу скетчей и кучу фото. Хороший пример unsupervised learning.