И сразу пачка дополнительных материалов:
1) Слайды с лекции Стэнфорда https://web.stanford.edu/class/cs224n/lectures/lecture12.pdf
2) Annotated transformer http://nlp.seas.harvard.edu/2018/04/03/attention.html
3) Illustrated transformer http://jalammar.github.io/illustrated-transformer/
4) Главные достижения в области обработки естественного языка в 2017 году: https://habr.com/company/ods/blog/347524/
1) Слайды с лекции Стэнфорда https://web.stanford.edu/class/cs224n/lectures/lecture12.pdf
2) Annotated transformer http://nlp.seas.harvard.edu/2018/04/03/attention.html
3) Illustrated transformer http://jalammar.github.io/illustrated-transformer/
4) Главные достижения в области обработки естественного языка в 2017 году: https://habr.com/company/ods/blog/347524/