🔺 Торрент-LM от BigScience
Инициатива от BigScience (коллаборация исследователей, которая сделала Bloom и делает BigСode).
Позволяет всем миром запускать и тюнить (!) Bloom 176B под свои задачи. Называется Petals 🌼.
Зачем?
Запуск 175B модели требует около 350 GB GPU и еще больше при дообучении. А чтобы запустить инференс модели при помощи Petals, нужно иметь 12GB оперативки под эмбеддинги (3.6B параметров) и еще сколько-то, если хотите сделать fine-tuning.
Дообучение происходит в режиме prompt tuning'а или при помощи слоев-адаптеров. В этом случае мы обучаем только малую часть параметров, которую храним у себя, все остальные веса распределены по Petals серверам (В 8 bit режиме модель режется на 22 куска, и требуется минимум 22 сервера, чтобы поднять модель).
Можно задонатить свою GPU, запустив Petals сервер у себя. Понадобится 16 GB RAM и 8 GB GPU.
Попробовать можно в Colab'e.
👉 Colab | GitHub | Paper
Инициатива от BigScience (коллаборация исследователей, которая сделала Bloom и делает BigСode).
Позволяет всем миром запускать и тюнить (!) Bloom 176B под свои задачи. Называется Petals 🌼.
Зачем?
Запуск 175B модели требует около 350 GB GPU и еще больше при дообучении. А чтобы запустить инференс модели при помощи Petals, нужно иметь 12GB оперативки под эмбеддинги (3.6B параметров) и еще сколько-то, если хотите сделать fine-tuning.
Дообучение происходит в режиме prompt tuning'а или при помощи слоев-адаптеров. В этом случае мы обучаем только малую часть параметров, которую храним у себя, все остальные веса распределены по Petals серверам (В 8 bit режиме модель режется на 22 куска, и требуется минимум 22 сервера, чтобы поднять модель).
Можно задонатить свою GPU, запустив Petals сервер у себя. Понадобится 16 GB RAM и 8 GB GPU.
Попробовать можно в Colab'e.
👉 Colab | GitHub | Paper