gonzo-обзоры ML статей

Затем Rich Caruana с Lei Jimmy Ba развили эту тему в работе:Do Deep Nets Really Need to be Deep?http...

Одной из ранних работ, на которую принято ссылаться, является: Model CompressionRich Caruana, Cristi...

Дистилляция: матчастьПора немного поговорить про истоки дистилляции и её суть.В целом, как уже было...

Ну и дистилляция дистилляцией, но не забывайте, что появился ещё и весьма качественный ALBERT (тоже...

Результаты дистиллированного BERT'а со сжатым словарём

Результаты BERT_PKD

Результаты BiLSTM_soft

Другие известные дистилляции BERT’а(2019/03) “Distilling Task-Specific Knowledge from BERT into Simp...

Сравнения по качеству, скорости и размерам

Двухэтапная процедура обучения TinyBERT