Yandex for ML

🔳 В опенсорс вышла YaFSDP — библиотека Яндекса для ускорения обучения LLM



Обучение больших языковых моделей упирается в несколько фундаментальных проблем, одна из них — сложность вычислений и коммуникаций GPU в кластере. Дело в том, что любые большие расчёты должны синхронизироваться на разных видеокартах, а для этого сами устройства должны обмениваться информацией, чтобы не считать два раза одно и то же. Если GPU делают это неэффективно, то они теряют до 30% недоутилизированной мощности.



Раньше для решения этой проблемы мы использовали сторонние библиотеки, а сейчас готовы представить собственный инструмент — YaFSDP, который ускоряет обучение больших языковых моделей до 25%. В новой статье на Хабре рассказываем, как менялись подходы к оптимизации ресурсов, и объясняем, какие вызовы пытаемся преодолеть. А ещё делимся историей о том, как нашли точки роста в уже существующих технологиях и разработали собственное решение.



🧿 P. S. Немного о бенчмарках: по сравнению с FSDP итоговое ускорение в сценариях с небольшим батчем превышает 20%. А в претрейнах моделей Яндекса внедрение нашей библиотеки вместе с другими оптимизациями памяти дало ускорение в 45%. Всё это делает YaFSDP удобным и быстрым инструментом для дообучения LLM. А ещё наша библиотека вышла в опенсорс — и вы тоже можете её попробовать!



Подписывайтесь:

💬 @Yandex4ML

📹 @YandexforML