#ВывоДня
Даже имея опыт в NLP, кажется многим может быть интересно почитать повнимательнее NLP course от huggingface . Уже не первый раз, нахожу там то, что помогает в задачках.
Например вместо танцев с бубном и добавления новых токенов от обученного заново токенайзера (которые кстати будут как special токены выводится через пробелы), можно дообучить токенайзер в hf методом🙂
Даже имея опыт в NLP, кажется многим может быть интересно почитать повнимательнее NLP course от huggingface . Уже не первый раз, нахожу там то, что помогает в задачках.
Например вместо танцев с бубном и добавления новых токенов от обученного заново токенайзера (которые кстати будут как special токены выводится через пробелы), можно дообучить токенайзер в hf методом
train_new_from_iterator():