Самое полезное что есть у трансформера как у архитектры - устойчивость, оч сложно сделать так чтобы градиенты взорвались или на инференсе он разошёлся, поэтому 8бит обучение и инференс, вполне себе рабочая схема(скоро выйдет 4бит инференс, но его пока карты не поддерживают)
Ноутбук сборник всяких хаков
Автор: @kaggling
Ноутбук сборник всяких хаков
Автор: @kaggling