Дата с Васей

📹 Конкурент Sora из Китая - Vidu



Китайская команда из компании ShengShu-AI и университета Цинхуа представила первую модель text-to-video под названием Vidu. По заявлениям разработчиков, Vidu не уступает нашумевшей модели Sora от OpenAI.



🎥 Vidu способна генерировать 16-секундные видеоклипы в разрешении 1080p. В основе модели лежит самостоятельно разработанная архитектура U-ViT (Universal Vision Transformer), которая объединяет в себе две модели text-to-video: Diffusion и Transformer.



Ключевая технология U-ViT была впервые предложена исследовательской командой Vidu еще в сентябре 2022 года, опередив архитектуру DiT (Diversity in Transformation) от Sora. U-ViT считается первой в мире архитектурой преобразования визуальной информации, сочетающей преимущества моделей Diffusion и Transformer.



Vidu умеет реалистично симулировать физический мир и генерировать сцены со сложными деталями, подчиняющимися законам физики, такими как правдоподобные эффекты света и тени, а также тонкие мимические выражения. Модель способна создавать не только статичные, но и динамичные кадры со сложной композицией.



🐼 Будучи разработанной в Китае, Vidu отлично понимает китайскую специфику и может генерировать изображения уникальных китайских персонажей, таких как панда и лун (китайский дракон).