2 года с GPT-3 🎂
28 мая исполнилось 2 года с момента выхода статьи Language Models are Few-Shot Learners
OpenAI создали самый громкий прецедент, выкладывая только статью, но не код и не веса модели.
- 28 мая 2020 выход статьи на arXiv.
- 11 июня 2020 доступно приватное API
- 22 октября 2020 мы выложили код, воспроизведенный по статье + 4 версии модели для русского языка
- только 18 ноября 2021 API GPT-3 стало доступно для всех желающих (но не веса)
Что изменилось за это время?
Масштабирование нейросетей вышло на новый уровень. Изначальное решение мсштабировать GPT-2 с небольшим исзенением архитектуры сильно критиковалось, но с тех пор все большие проекты используют масштабирование, замеряя качество моделей на разных размерах модели: Gato, Chinchilla, Flamingo, Gopher, PaLM, etc.
Генерируется все: стихи, саммари, заголовки, коммерческие тексты, а потом и код, изображения, музыка.
PLP (Programming Language Processing) выходит на новый уровень: по отчету Axiom, на GitHub в 30% новых проектов есть генеративный код
Наша реализация для русского языка набрала 1.4k звезд и держит 45k+ скачиваний на HuggingFace
А 17 мая 2022 мы зарелизили mGPT, GPT-3-архитектуру для 61 языка мира.
Что будет дальше?
28 мая исполнилось 2 года с момента выхода статьи Language Models are Few-Shot Learners
OpenAI создали самый громкий прецедент, выкладывая только статью, но не код и не веса модели.
- 28 мая 2020 выход статьи на arXiv.
- 11 июня 2020 доступно приватное API
- 22 октября 2020 мы выложили код, воспроизведенный по статье + 4 версии модели для русского языка
- только 18 ноября 2021 API GPT-3 стало доступно для всех желающих (но не веса)
Что изменилось за это время?
Масштабирование нейросетей вышло на новый уровень. Изначальное решение мсштабировать GPT-2 с небольшим исзенением архитектуры сильно критиковалось, но с тех пор все большие проекты используют масштабирование, замеряя качество моделей на разных размерах модели: Gato, Chinchilla, Flamingo, Gopher, PaLM, etc.
Генерируется все: стихи, саммари, заголовки, коммерческие тексты, а потом и код, изображения, музыка.
PLP (Programming Language Processing) выходит на новый уровень: по отчету Axiom, на GitHub в 30% новых проектов есть генеративный код
Наша реализация для русского языка набрала 1.4k звезд и держит 45k+ скачиваний на HuggingFace
А 17 мая 2022 мы зарелизили mGPT, GPT-3-архитектуру для 61 языка мира.
Что будет дальше?