Open AI поделился результатами своего исследования которое я никак кроме как магией назвать не могу – DALL·E, новая нейронка, продолжение идеи GPT-3 на трансформерах, но в этот раз для генерации изображений из текста.



Я часто пишу тут про фантазию, мол, скормил Гарри Поттера нейронке и получил иллюстрации всех сцен книги – кажется это уже не фантазия, но поковырять самому пока ничего не дают.



DALL·E нейронка с 12 миллиардами параметров, натренированная на парах картинка-текст, ее задачи:



Синтезировать картинки по текстовому описанию

Дорисовывать картинки имея часть на входе, с учетом текстового описания



Open AI уже тезерил какие-то вещи в этой области раньше, и вот наконец-то это вышло на такой уровень, что челюсть отпадает, посмотрите примеры что я приложил, вверху текст какой давали на входе.



Уверен, ей пока не дадут поиграться всем.



Предвижу, это исследование сильно повлияет на многие сферы и индустрии, так как это бесконечные сферы применения.



Тут подробнее:

https://openai.com/blog/dall-e/