#Задание к следующему семинару
Изначально мы планировали разобрать на нём только transformer, но попробуем захватить ещё и BERT.
Прочитать / просмотреть:
1. Illustrated Transformer jalammar.github.io/illustrated-transformer/
1. Часть лекции Stanford по Transormer и BERT https://youtu.be/S-CspeZ8FHc?t=2818
Статьи:
1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Davlin et al., 2018
Сделать квиз:
https://forms.gle/6mAu3bQ4CCQTQ5338
Дополнительно:
1. Лекция cs224n от одного из авторов Attention Is All You Need, Ashish Vaswani https://youtu.be/5vcj8kSwBCY
1. The Annotated Transformer http://nlp.seas.harvard.edu/2018/04/03/attention.html
1. Attention Is All You Need, Vaswani et al., 2017
Изначально мы планировали разобрать на нём только transformer, но попробуем захватить ещё и BERT.
Прочитать / просмотреть:
1. Illustrated Transformer jalammar.github.io/illustrated-transformer/
1. Часть лекции Stanford по Transormer и BERT https://youtu.be/S-CspeZ8FHc?t=2818
Статьи:
1. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Davlin et al., 2018
Сделать квиз:
https://forms.gle/6mAu3bQ4CCQTQ5338
Дополнительно:
1. Лекция cs224n от одного из авторов Attention Is All You Need, Ashish Vaswani https://youtu.be/5vcj8kSwBCY
1. The Annotated Transformer http://nlp.seas.harvard.edu/2018/04/03/attention.html
1. Attention Is All You Need, Vaswani et al., 2017