AbstractDL

А вы знали, что GPT-3 токенизирует русский язык просто отвратительно? Тут токенов больше чем букв! Я конечно очень люблю byte-level BPE, но не ожидал такой подставы.