Как GEN-2 стала главной нейросетью для генерации видео
За 5 лет с момента основания в 2018 году стартап Runway прошел путь от крохотного бизнеса до стартапа с оценочной стоимостью в $1,5 млрд, чьи технологии использовались в триумфаторе Оскара-2023 «Все везде и сразу».
Главный продукт Runway — мультимодальная нейросеть GEN-2, которая генерирует видео по промпту, редактирует уже готовые клипы и анимирует статичные изображения с помощью генеративного ИИ. GEN-1 работала только с уже готовыми видео.
У модели много конкурентов (Pika, Stable Video, над своей моделью работает и Midjourney). Но благодаря тому, что стартап получил серьезную поддержку инвесторов (например, от Google и Nvidia) и с самого основания работал фактически только над одним продуктом, их GEN-2 стала главной нейросетью для видео.
GEN-2 построена на нескольких ML-фреймворках, включая TensorFlow, PyTorch и Keras. Благодаря им использовать нейросеть может как новичок, который хочет сразу приступить к генерации видео, так и профессионал, который хочет донастроить модель под себя.
Сейчас GEN-2 можно использовать через сайт, сервер Discord и приложение iOS. Сервис работает по фримиум-модели: первые несколько генераций можно сделать бесплатно, дальше придется платить от $144 в год.
Модель отличается высокой консистентностью и высоким разрешением генераций. К концу года вторая версия нейросети научилась выдавать 18-секундные клипы по сравнению с 3–4 секундами на запуске в марте 2023 года.
Глава и сооснователь компании Кристобаль Валенсуэла уверен, что уже в ближайшем будущем с помощью Runway можно будет генерировать полнометражные фильмы — но это не основная цель стартапа. Валенсуэла видит роль GEN-2 в качестве креативного помощника, который будет занимать важную роль в кинопроизводстве (особенно в создании спецэффектов), но никогда полностью не заменит людей.
У компании, где сегодня работает около 50 человек, большой потенциал для роста: сейчас Runway зарабатывает несколько миллионов долларов в год, большую часть из которых составляют платные подписки на сервисы компании.
Недавно компания анонсировала амбициозный проект General World Models (GWM). Его цель — создать генеративные модели, реалистично симулирующие окружающий мир и последствия событий, происходящих в нем. В Runway говорят, что GEN-2 — это мини-версия GWM.
Попробовать можно тут.
За 5 лет с момента основания в 2018 году стартап Runway прошел путь от крохотного бизнеса до стартапа с оценочной стоимостью в $1,5 млрд, чьи технологии использовались в триумфаторе Оскара-2023 «Все везде и сразу».
Главный продукт Runway — мультимодальная нейросеть GEN-2, которая генерирует видео по промпту, редактирует уже готовые клипы и анимирует статичные изображения с помощью генеративного ИИ. GEN-1 работала только с уже готовыми видео.
У модели много конкурентов (Pika, Stable Video, над своей моделью работает и Midjourney). Но благодаря тому, что стартап получил серьезную поддержку инвесторов (например, от Google и Nvidia) и с самого основания работал фактически только над одним продуктом, их GEN-2 стала главной нейросетью для видео.
GEN-2 построена на нескольких ML-фреймворках, включая TensorFlow, PyTorch и Keras. Благодаря им использовать нейросеть может как новичок, который хочет сразу приступить к генерации видео, так и профессионал, который хочет донастроить модель под себя.
Сейчас GEN-2 можно использовать через сайт, сервер Discord и приложение iOS. Сервис работает по фримиум-модели: первые несколько генераций можно сделать бесплатно, дальше придется платить от $144 в год.
Модель отличается высокой консистентностью и высоким разрешением генераций. К концу года вторая версия нейросети научилась выдавать 18-секундные клипы по сравнению с 3–4 секундами на запуске в марте 2023 года.
Глава и сооснователь компании Кристобаль Валенсуэла уверен, что уже в ближайшем будущем с помощью Runway можно будет генерировать полнометражные фильмы — но это не основная цель стартапа. Валенсуэла видит роль GEN-2 в качестве креативного помощника, который будет занимать важную роль в кинопроизводстве (особенно в создании спецэффектов), но никогда полностью не заменит людей.
У компании, где сегодня работает около 50 человек, большой потенциал для роста: сейчас Runway зарабатывает несколько миллионов долларов в год, большую часть из которых составляют платные подписки на сервисы компании.
Недавно компания анонсировала амбициозный проект General World Models (GWM). Его цель — создать генеративные модели, реалистично симулирующие окружающий мир и последствия событий, происходящих в нем. В Runway говорят, что GEN-2 — это мини-версия GWM.
Попробовать можно тут.