Градиент обреченный

🔺 Обучаем RLHF с 20B моделью на домашней видеокарте



Очередная интеграция библиотек от huggingface 🤗. На этот раз скрестили peft и trl.



При помощи trl можно, собственно, обучать сами модели в распределенном сетапе или на одной GPU. При помощи peft можно из коробки пользоваться оптимизациями для обучения больших LM, типа LoRA.



Авторы показывают как обучали gpt-neo-x (40Gb в fp16) на 3090 с 24Gb пямяти. Новые оптимизации добавляются.



👉 Примеры