Как обещали, делимся подборкой статей и презентаций с митапа ИИшница «NLP требуют наши сердца» 📄
Максим Рябинин «RuCoLA: Russian Corpus of Linguistic Acceptability»
Ссылка на другие датасеты для задачи linguistic acceptability: на английском языке (оригинальный корпус CoLA), на итальянском и шведском языках. Интересная статья, описывающая применение обученных на этой задаче моделей для улучшения генерации текстов.
Зульфат Мифтахутдинов «NLP в биомедицине»
В статье рассматривается обучение метрике на основе триплетной функции потерь в задаче связывание именованных сущностей для биомедицинского домена. Основной упор делается на тексты клинических испытаний и устойчивости модели к смене домена. Еще одна статья посвящена решению задачи нормализации медицинских концептов. Также используется метрическое обучение. Однако, авторы используют другую вариацию функции потерь. Для отбора кандидатов при обучении в статье применяется комбинация из tf-idf и BERT представлений сущностей и синонимов концептов.
Артем Шелманов и Аким Цвигун «Active Learning в NLP»
В статье команды Weakly Supervised NLP предлагаются два метода ускорения активного обучения (AL) в задачах обработки текста. Совмещение методов позволяет ускорить AL до 63%. Также еще одна статья команды, показывающая возможность решения acquisition-successor mismatch проблемы путем использования дистилированной версии teacher модели в качестве acquisition (i.e. во время активного обучения), а самой teacher модели - в качестве successor. Интересная работа, в которой рассматриваются методы Байесовской оценки неопределенности в задаче активного обучения.
Валентин Малых «Searching by Code in the Instructions»
Статья описывает создание CodeXGLUE – бенчмарка для задач на коде, описываются различные задачи и подходы к их решению. В качестве бейзлайнов приведены две достаточно известные (и лучшие на тот момент) модели CodeBERT и CodeGPT и дано их описание.
📍Презентации можно скачать по ссылке.
Максим Рябинин «RuCoLA: Russian Corpus of Linguistic Acceptability»
Ссылка на другие датасеты для задачи linguistic acceptability: на английском языке (оригинальный корпус CoLA), на итальянском и шведском языках. Интересная статья, описывающая применение обученных на этой задаче моделей для улучшения генерации текстов.
Зульфат Мифтахутдинов «NLP в биомедицине»
В статье рассматривается обучение метрике на основе триплетной функции потерь в задаче связывание именованных сущностей для биомедицинского домена. Основной упор делается на тексты клинических испытаний и устойчивости модели к смене домена. Еще одна статья посвящена решению задачи нормализации медицинских концептов. Также используется метрическое обучение. Однако, авторы используют другую вариацию функции потерь. Для отбора кандидатов при обучении в статье применяется комбинация из tf-idf и BERT представлений сущностей и синонимов концептов.
Артем Шелманов и Аким Цвигун «Active Learning в NLP»
В статье команды Weakly Supervised NLP предлагаются два метода ускорения активного обучения (AL) в задачах обработки текста. Совмещение методов позволяет ускорить AL до 63%. Также еще одна статья команды, показывающая возможность решения acquisition-successor mismatch проблемы путем использования дистилированной версии teacher модели в качестве acquisition (i.e. во время активного обучения), а самой teacher модели - в качестве successor. Интересная работа, в которой рассматриваются методы Байесовской оценки неопределенности в задаче активного обучения.
Валентин Малых «Searching by Code in the Instructions»
Статья описывает создание CodeXGLUE – бенчмарка для задач на коде, описываются различные задачи и подходы к их решению. В качестве бейзлайнов приведены две достаточно известные (и лучшие на тот момент) модели CodeBERT и CodeGPT и дано их описание.
📍Презентации можно скачать по ссылке.