🔥 Пополнение в репозитории GENA новой моделью на архитектуре BigBird!
Исследователи из групп «Биоинформатика» и «Новые нейросетевые архитектуры» сделали еще один шаг на пути к универсальной языковой модели ДНК и начали пополнять репозиторий GENA дополнительными решениями.
Результаты экспериментов показали, что для разных прикладных задач требуются разные архитектуры с разной входной длиной последовательности и скоростью обучения.
🌐 Gena-lm-bigbird-base-t2t – это трансформерная модель на архитектуре BigBird, основанная на кодовой базе HuggingFace и обученная на полном геноме человека T2T в рамках работы над развитием проекта GENA_LM (прочитать подробнее про Gena можно тут).
Новая модель может работать с последовательностями ДНК длинной до 24000 нуклеотидов, что в 8 раз превышает возможности предшественника.🧪
🧬 Дальше – больше! Исследователи активно экспериментируют с обучением других нейросетевых архитектур – ждите очередного пополнения репозитория в ближайшее время.
🖇 Ищите модель и веса по ссылке и следите за обновлениями!
Исследователи из групп «Биоинформатика» и «Новые нейросетевые архитектуры» сделали еще один шаг на пути к универсальной языковой модели ДНК и начали пополнять репозиторий GENA дополнительными решениями.
Результаты экспериментов показали, что для разных прикладных задач требуются разные архитектуры с разной входной длиной последовательности и скоростью обучения.
🌐 Gena-lm-bigbird-base-t2t – это трансформерная модель на архитектуре BigBird, основанная на кодовой базе HuggingFace и обученная на полном геноме человека T2T в рамках работы над развитием проекта GENA_LM (прочитать подробнее про Gena можно тут).
Новая модель может работать с последовательностями ДНК длинной до 24000 нуклеотидов, что в 8 раз превышает возможности предшественника.🧪
🧬 Дальше – больше! Исследователи активно экспериментируют с обучением других нейросетевых архитектур – ждите очередного пополнения репозитория в ближайшее время.
🖇 Ищите модель и веса по ссылке и следите за обновлениями!