Теперь каждый может опробовать LLaMA 2 (70B) благодаря Petals - децентрализованной сети.
Petals - это инструмент, который позволяет пользователям использовать вместе большие языковые модели, объединяя мощности их компьютеров в децентрализованную сеть.
Авторы проекта недавно добавили поддержку LLaMA 2 - одной из самых мощных моделей с открытым исходным кодом, доступных в настоящее время.
В публичном режиме доступны две самые большие модели - LLaMA-65B и LLaMA 2 (70B и 70B-Chat), которые обеспечивают скорость вывода до 5-6 токенов в секунду.
Теперь каждый может опробовать эти модели в виде веб-приложения чат-бота.
@innovation_station
Petals - это инструмент, который позволяет пользователям использовать вместе большие языковые модели, объединяя мощности их компьютеров в децентрализованную сеть.
Авторы проекта недавно добавили поддержку LLaMA 2 - одной из самых мощных моделей с открытым исходным кодом, доступных в настоящее время.
В публичном режиме доступны две самые большие модели - LLaMA-65B и LLaMA 2 (70B и 70B-Chat), которые обеспечивают скорость вывода до 5-6 токенов в секунду.
Теперь каждый может опробовать эти модели в виде веб-приложения чат-бота.
@innovation_station