Nvidia представила открытую LLM модель Nemotron-4 340B! 🚀🤖
Ключевые факты:
- Размер: 340 миллиардов параметров.
- Обучение: 50+ языков и 40+ языков программирования.
- Архитектура: GQA и RoPE. Контекст – 4096 токенов.
Варианты:
- Base: генерация данных.
- Instruct: чаты и инструкции.
- Reward: обучение с reward.
Лицензия: NVIDIA Open Model License – коммерческое использование разрешено.
Подробнее в пресс-релизе.
TechVibe
Ключевые факты:
- Размер: 340 миллиардов параметров.
- Обучение: 50+ языков и 40+ языков программирования.
- Архитектура: GQA и RoPE. Контекст – 4096 токенов.
Варианты:
- Base: генерация данных.
- Instruct: чаты и инструкции.
- Reward: обучение с reward.
Лицензия: NVIDIA Open Model License – коммерческое использование разрешено.
Подробнее в пресс-релизе.
TechVibe