https://jalammar.github.io/illustrated-gpt2/ Опишем, как происходит процесс генерации текста в 💮GPT-2 У предобученной модели уже имеется матрица embeddings, известных слов. Прежде чем передать первый токен, мы должны воспользоваться понятием positional encodings…