Вышли материалы доклада о mGPT для @Sberlogabig
#nlp #про_nlp #mgpt
«Многоязычное приключение или как мы учили mGPT: модель GPT-3 для 61 языка мира»
📹 Видео: https://youtu.be/nJ3864jJ6KI
📖 Материалы:
🔹mGPT paper https://arxiv.org/abs/2204.07580
🔹HuggingFace: huggingface.co/spaces/sberbank-ai/mGPT
🔹Repo: https://github.com/ai-forever/mgpt
Доп материалы:
🔹Scaling Laws for Neural Language Models, Kaplan et al. OpenAI 2020
https://arxiv.org/abs/2001.08361
🔹XGLM paper https://arxiv.org/abs/2112.10668
#nlp #про_nlp #mgpt
«Многоязычное приключение или как мы учили mGPT: модель GPT-3 для 61 языка мира»
📹 Видео: https://youtu.be/nJ3864jJ6KI
📖 Материалы:
🔹mGPT paper https://arxiv.org/abs/2204.07580
🔹HuggingFace: huggingface.co/spaces/sberbank-ai/mGPT
🔹Repo: https://github.com/ai-forever/mgpt
Доп материалы:
🔹Scaling Laws for Neural Language Models, Kaplan et al. OpenAI 2020
https://arxiv.org/abs/2001.08361
🔹XGLM paper https://arxiv.org/abs/2112.10668