"2018 is the year of transfer learning in NLP". Следовательно, на следующем семинаре будем обсуждать вот эти три статьи:
Deep contextualized word representations [Peters et al., 2018] https://arxiv.org/pdf/1802.05365.pdf
Universal Language Model Fine-tuning for Text Classification [Howard and Ruder, 2018] https://arxiv.org/pdf/1801.06146.pdf
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Devlin et al., 2018] https://arxiv.org/abs/1810.04805
Они проще Attention is All You Need, но за один семинар так же подробно мы их разобрать не успеем. Так что очень советую прочитать их дома, у вас уже есть весь необходимый бэкграунд.
Квиз может быть будет, а может быть и нет.
Deep contextualized word representations [Peters et al., 2018] https://arxiv.org/pdf/1802.05365.pdf
Universal Language Model Fine-tuning for Text Classification [Howard and Ruder, 2018] https://arxiv.org/pdf/1801.06146.pdf
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding [Devlin et al., 2018] https://arxiv.org/abs/1810.04805
Они проще Attention is All You Need, но за один семинар так же подробно мы их разобрать не успеем. Так что очень советую прочитать их дома, у вас уже есть весь необходимый бэкграунд.
Квиз может быть будет, а может быть и нет.