Дата с Васей

🤖 Zephyr 141B - новая крутая открытая LLM



Бесплатно протестить можно тут



Некоторые интересные детали:

- Базовая модель: Mixtral 8x22B (141B параметров, 35B параметров активации)

- Дообучена с помощью ORPO, нового алгоритма выравнивания без этапа SFT

- Лицензия Apache 2



Все компоненты открыты:

- Финальная модель

- Базовая модель

- Данные для дообучения

- Код для обучения модели

- Движок инференса

- Код UI



SFT - это метод дообучение LLM на данных под конкретную задачу.