Meta* представила мультимодальный ИИ, ImageBind, способный работать с текстом, видео, аудио, 3D-глубиной, движением и температурой. Информация о температуре обрабатывается посредством тепловых карт.
ImageBind, как расширенная версия существующих нейросетей, может устанавливать связи между различными категориями информации, приближая работу алгоритмов к восприятию реальности человеком.
Например, если модель генерирует продолжительное морское путешествие, она создаст визуальную часть, подберет аудио, передаст покачивание судна и смоделирует холодный морской ветер.
ImageBind, находящийся в стадии разработки, может стать ключевым элементом в создании метавселенных.
В будущем, модель планируется расширить добавлением другой сенсорной информации, такой как прикосновения, запах, речь и т.д. Открытый исходный код модели уже доступен на Hugging Face.
*Запрещенная в РФ организация
Источник
ImageBind, как расширенная версия существующих нейросетей, может устанавливать связи между различными категориями информации, приближая работу алгоритмов к восприятию реальности человеком.
Например, если модель генерирует продолжительное морское путешествие, она создаст визуальную часть, подберет аудио, передаст покачивание судна и смоделирует холодный морской ветер.
ImageBind, находящийся в стадии разработки, может стать ключевым элементом в создании метавселенных.
В будущем, модель планируется расширить добавлением другой сенсорной информации, такой как прикосновения, запах, речь и т.д. Открытый исходный код модели уже доступен на Hugging Face.
*Запрещенная в РФ организация
Источник