gonzo-обзоры ML статей

Transformer Distillation

Сравнение с другими методами дистилляции

Лот #2TinyBERT: Distilling BERT for Natural Language UnderstandingXiaoqi Jiao, Yichun Yin, Lifeng Sh...

Результаты DistilBERT

Место DistilBERT в пантеоне

Итак, первый лот:DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighterVictor...

В последнее время особенно набирает обороты тема с дистилляцией. Двусмысленно получилось… Ну да ладн...

Астрологи объявили неделю дистилляции.Следите за обновлениями.

Написал тут большой пост про ускорение BERT'аhttps://blog.inten.to/speeding-up-bert-5528e18bb4ea

Sentence-BERT: Sentence Embeddings using Siamese BERT-NetworksNils Reimers and Iryna GurevychTechnis...