#cv #colab #gen
Нейросеть для скетчей
🌗 Интересный проект для тех, кто рисовать не умеет, но всегда хотел. Авторы не стали тренировать какую-нибудь сетку на скетчах, а сделали так:
1️⃣ Скетч определяется как набор N кривых Безье на белом фоне (это такие кривые с параметрами в виде точек и углов в них).
2️⃣ При помощи CLIP (сеть с общим латентным пространством для картинок и текста) получаем карту внимания и по ней ставим начальные точки кривых.
3️⃣ Есть растеризатор с обучаемыми параметрами, который рисует наш скетч.
4️⃣ На каждом шаге между картинкой из растеризатора и исхожным изображением считаем лосс CLIP'ом и корректируем параметры.
5️⃣ Получаем скетч.
Круто, что такой скетч на выходе получается в векторном формате (svg), можно поиграться с ним в иллюстраторе. Кроме того, можно менять количество линий.
👉 Попробуйте порисовать сами при помощи Colab'а.
Colab, GitHub, О проекте
Нейросеть для скетчей
🌗 Интересный проект для тех, кто рисовать не умеет, но всегда хотел. Авторы не стали тренировать какую-нибудь сетку на скетчах, а сделали так:
1️⃣ Скетч определяется как набор N кривых Безье на белом фоне (это такие кривые с параметрами в виде точек и углов в них).
2️⃣ При помощи CLIP (сеть с общим латентным пространством для картинок и текста) получаем карту внимания и по ней ставим начальные точки кривых.
3️⃣ Есть растеризатор с обучаемыми параметрами, который рисует наш скетч.
4️⃣ На каждом шаге между картинкой из растеризатора и исхожным изображением считаем лосс CLIP'ом и корректируем параметры.
5️⃣ Получаем скетч.
Круто, что такой скетч на выходе получается в векторном формате (svg), можно поиграться с ним в иллюстраторе. Кроме того, можно менять количество линий.
👉 Попробуйте порисовать сами при помощи Colab'а.
Colab, GitHub, О проекте