Сегодня рассказываем про Fusion Brain – одно из направлений исследований в Институте AIRI ⚡️
Fusion Brain — это исследовательский проект, основными задачами которого являются разработка эффективных мультизадачных и мультимодальных моделей и применение их для решения широкого круга практических задач. Общая цель и идея проекта — научиться создавать модели, которые смогут как можно более эффективно извлекать дополнительные важные знания из большого количества модальностей и задач при обучении, и за счет этого лучше решать разные другие задачи. Исследования проводятся во многих модальностях: тексты, изображения, аудио, видео, языки программирования, графы (например, молекулярные структуры), временные ряды и так далее.
Список решаемых задач очень большой: от классических CV и NLP до задач, вовлекающих разные модальности: VideoQA, Visual Commonsense Reasoning, IQ tests (эти задачи сложны даже для человека). Изучается способность моделей решать задачи, сформулированные на естественном или визуальном языках, и даже справляться со скрытыми задачами (для которых в обучающей выборке отсутствовали примеры). Исследования также сосредоточены на сокращении данных, человеческих и вычислительных ресурсов, необходимых для обучения, развертывания и обслуживания различных моделей.
Интересное про Fusion Brain:
🖇 Доклад Димитрова Дениса "Тренды в ИИ: мультимодальность, мультизадачность, эффективность".
🖇 Одной из моделей Fusion Brain является ruDALLE. Напоминаем, что можно написать текстовый запрос и получить сгенерированную ИИ картинку.
🖇 Также сгенерировать картинку можно через боты в Telegram: Malevich, Emojich.
Картинка к посту как раз из Малевича по запросу AIRI, обязательно попробуйте 🎨
Fusion Brain — это исследовательский проект, основными задачами которого являются разработка эффективных мультизадачных и мультимодальных моделей и применение их для решения широкого круга практических задач. Общая цель и идея проекта — научиться создавать модели, которые смогут как можно более эффективно извлекать дополнительные важные знания из большого количества модальностей и задач при обучении, и за счет этого лучше решать разные другие задачи. Исследования проводятся во многих модальностях: тексты, изображения, аудио, видео, языки программирования, графы (например, молекулярные структуры), временные ряды и так далее.
Список решаемых задач очень большой: от классических CV и NLP до задач, вовлекающих разные модальности: VideoQA, Visual Commonsense Reasoning, IQ tests (эти задачи сложны даже для человека). Изучается способность моделей решать задачи, сформулированные на естественном или визуальном языках, и даже справляться со скрытыми задачами (для которых в обучающей выборке отсутствовали примеры). Исследования также сосредоточены на сокращении данных, человеческих и вычислительных ресурсов, необходимых для обучения, развертывания и обслуживания различных моделей.
Интересное про Fusion Brain:
🖇 Доклад Димитрова Дениса "Тренды в ИИ: мультимодальность, мультизадачность, эффективность".
🖇 Одной из моделей Fusion Brain является ruDALLE. Напоминаем, что можно написать текстовый запрос и получить сгенерированную ИИ картинку.
🖇 Также сгенерировать картинку можно через боты в Telegram: Malevich, Emojich.