#nlp #big #news
Что надо знать про Bloom 🌸
〰️ Что это?
Большая языковая модель (LLM) для генерации текста, которую в течение года готовил коллективный разум (более 1000 человек из 70-ти стран) при помощи суперкомпьютера Jean Zay. Пользовались грантом на €3M.
〰️ Зачем?
Большие корпорации тратят такие средства постоянно, но в открытый доступ модели выкладывают редко. Эта модель — открытая. По размеру эквивалентна GPT-3 175B, но на 1 миллиард параметров больше 😁.
〰️ В чем особенность?
Модель мультиязычная (59 языков, 13 из которых — языки программирования, список будет ниже). Большой упор на редкие африканские языки.
Русского нет, если вбросить промпт [To say "I love you" in Russian, you would say], то будет транслит:
〰️ Почему новость сейчас?
А потому что эту махину дообучили и заливают на huggingface на радость всем желающим (есть модели разного размера, какие-то финальные, какие-то в процессе) 👉
Huggingface | Логи обучения | Про датасет
Что надо знать про Bloom 🌸
〰️ Что это?
Большая языковая модель (LLM) для генерации текста, которую в течение года готовил коллективный разум (более 1000 человек из 70-ти стран) при помощи суперкомпьютера Jean Zay. Пользовались грантом на €3M.
〰️ Зачем?
Большие корпорации тратят такие средства постоянно, но в открытый доступ модели выкладывают редко. Эта модель — открытая. По размеру эквивалентна GPT-3 175B, но на 1 миллиард параметров больше 😁.
〰️ В чем особенность?
Модель мультиязычная (59 языков, 13 из которых — языки программирования, список будет ниже). Большой упор на редкие африканские языки.
Русского нет, если вбросить промпт [To say "I love you" in Russian, you would say], то будет транслит:
To say "I love you" in Russian, you would say "ya lyublyu" or "ya lyubit." These can be used when speaking.
〰️ Почему новость сейчас?
А потому что эту махину дообучили и заливают на huggingface на радость всем желающим (есть модели разного размера, какие-то финальные, какие-то в процессе) 👉
Huggingface | Логи обучения | Про датасет