Градиентное погружение

#чтивонаночь

Очень крутая штука от huggingface - accelerate, позволяет встраивать multi gpu tensor parallel training в обычные torch скрипты и не думать.

Blogpost