gonzo-обзоры ML статей

Ну и дистилляция дистилляцией, но не забывайте, что появился ещё и весьма качественный ALBERT (тоже на ICLR 2020), который существенно легче оригинального BERT'а, но по качеству круче RoBERT'ы. И его по идее тоже можно отдистиллировать :)



Про ALBERT уже было тут: https://blog.inten.to/speeding-up-bert-5528e18bb4ea