Что будет, если скрестить Minecraft и Stable Diffusion?



Minecraft — уникальная игра, она привлекает и ещё не научившихся разговаривать детей, и прожжённых датасаентистов.



Помню, как летом спецы из OpenAI обучили нейросеть добывать в «Майне» ресурсы и пищу, охотиться и бегать. А теперь художник и энтузиаст Шон Саймон показал эксперимент со Stable Diffusion.



DiffusionCraft AI (так называется скрещённая версия) превращает постройки из блоков в красивые концепты. Причём делает это в реальном времени!



Работает это так: скрипт на Python передаёт изображение с экрана геймера в инструмент Img2Img (туда же вписывается текстовая подсказка). Картинка обновляется раз в определённый интервал времени или сразу после того, как игрок ставит новый блок в игре.



Выглядит залипательно.