На следующем семинаре мы разберём архитектуру Transformer - новый подход к обработке последовательностей, очень сильно завязанный на attention.
К сожалению, видеолекция Стэнфорда по трансформеру пока недоступна простым смертным, поэтому придётся читать.
Таким образом задание:
1) оригинальная статья: Attention is All You Need (Vaswani et. al, 2017) https://arxiv.org/pdf/1706.03762.pdf
2) квиз будет позже
3) ваши вопросы: https://goo.gl/forms/MxWeBFhhPakjKJ2R2
Обязательно прочитайте статью, архитектура довольно хитрая, но важная. На последнем семинаре будем разбирать три, наверное, самых важных статьи 2018 года и в одной из них transformer будет ключевой частью.
К сожалению, видеолекция Стэнфорда по трансформеру пока недоступна простым смертным, поэтому придётся читать.
Таким образом задание:
1) оригинальная статья: Attention is All You Need (Vaswani et. al, 2017) https://arxiv.org/pdf/1706.03762.pdf
2) квиз будет позже
3) ваши вопросы: https://goo.gl/forms/MxWeBFhhPakjKJ2R2
Обязательно прочитайте статью, архитектура довольно хитрая, но важная. На последнем семинаре будем разбирать три, наверное, самых важных статьи 2018 года и в одной из них transformer будет ключевой частью.