Как обучать и файнтюнить LLM в 30 раз быстрее
Unsloth обещает увеличить скорость обучения больших языковых моделей в 30 раз. Это достигается исключительно за счет оптимизации программного обеспечения, без необходимости дополнительного оборудования.
Сервис поддерживает языковые модели Llama, Mistral, Yi, CodeLlama и их вариации.
Разработчики утверждают, что благодаря Unsloth время обучения открытой модели Alpaca сокращается с 85 часов до всего 3 часов без ущерба для точности обучения. При этом устройств использует на 60% меньше памяти.
Максимальная эффективность Unsloth доступна через платную подписку Max, предназначенную для корпоративных пользователей. Именно она обеспечивает поддержку нескольких GPU одновременно. На бесплатной версии скорость обучения LLM увеличивается лишь в 2 раза. Стоимость подписки доступна по запросу.
Unsloth использует несколько технологий оптимизации:
- Технология ручной оптимизации автоградиента, включающая в себя метод обратного распространения ошибок.
- Применение техник QLoRA/LoRA, оптимизирующих количество параметров, необходимых для обучения модели.
- Использование языка программирования Triton от OpenAI, ориентированного на упрощение создания алгоритмов машинного обучения.
Unsloth поддерживает большинство GPU от Nvidia, выпущенных с 2018 года (CUDA 7.0+). Разработчики планируют добавить поддержку AMD и Intel. Приложение работает как на Linux, так и через WSL на Windows.
Unsloth обещает увеличить скорость обучения больших языковых моделей в 30 раз. Это достигается исключительно за счет оптимизации программного обеспечения, без необходимости дополнительного оборудования.
Сервис поддерживает языковые модели Llama, Mistral, Yi, CodeLlama и их вариации.
Разработчики утверждают, что благодаря Unsloth время обучения открытой модели Alpaca сокращается с 85 часов до всего 3 часов без ущерба для точности обучения. При этом устройств использует на 60% меньше памяти.
Максимальная эффективность Unsloth доступна через платную подписку Max, предназначенную для корпоративных пользователей. Именно она обеспечивает поддержку нескольких GPU одновременно. На бесплатной версии скорость обучения LLM увеличивается лишь в 2 раза. Стоимость подписки доступна по запросу.
Unsloth использует несколько технологий оптимизации:
- Технология ручной оптимизации автоградиента, включающая в себя метод обратного распространения ошибок.
- Применение техник QLoRA/LoRA, оптимизирующих количество параметров, необходимых для обучения модели.
- Использование языка программирования Triton от OpenAI, ориентированного на упрощение создания алгоритмов машинного обучения.
Unsloth поддерживает большинство GPU от Nvidia, выпущенных с 2018 года (CUDA 7.0+). Разработчики планируют добавить поддержку AMD и Intel. Приложение работает как на Linux, так и через WSL на Windows.