Следующее занятие будет для нас достаточно нестандартным. По этой теме ещё нету видео у стенфорда, потому что по-сути она появилась только в прошлом году. Мы разберём предобучение векторных представлений слов с помощью языковых моделей и как эффективно использовать это для классификации текстов и других прикладных задач.
Тема: Transfer Learning in NLP
Материалы на почитать/посмотреть:
Статьи (обязательно):
1. Deep contextualized word representations, Peters et al., 2018
1. Universal Language Model Fine-tuning for Text Classification, Howard and Ruder, 2018
Статьи в блогах:
1. towardsdatascience.com/elmo-helps-to-further-improve-your-word-embeddings-c6ed2c9df95f
1. nlp.fast.ai
1. jalammar.github.io/illustrated-bert
Для того, чтобы лучше себе представлять, как работают свёрточные эмбеддинги в ELMo, можете посмотреть вот эту лекцию:
https://youtu.be/Lg6MZw_OOLI
BERT скорее всего не разберём, потому что мы ещё не разобрали трансформеры, а трансформеры не разберём, потому что мы ещё не разобрали attention.
Тема: Transfer Learning in NLP
Материалы на почитать/посмотреть:
Статьи (обязательно):
1. Deep contextualized word representations, Peters et al., 2018
1. Universal Language Model Fine-tuning for Text Classification, Howard and Ruder, 2018
Статьи в блогах:
1. towardsdatascience.com/elmo-helps-to-further-improve-your-word-embeddings-c6ed2c9df95f
1. nlp.fast.ai
1. jalammar.github.io/illustrated-bert
Для того, чтобы лучше себе представлять, как работают свёрточные эмбеддинги в ELMo, можете посмотреть вот эту лекцию:
https://youtu.be/Lg6MZw_OOLI
BERT скорее всего не разберём, потому что мы ещё не разобрали трансформеры, а трансформеры не разберём, потому что мы ещё не разобрали attention.