#nlp #open_source
🔺 UL2. Mixture of denoisers
Друзья, тот момент, когда Google выложил свои наработки в open-source. А именно языковую модель на 20B параметров, которая показывает себя отлично одновременно на двух типах постановки задач:
• Fine-tuning (дообучение под конкретную задачу)
• In context learning (few-shot — даем несколько целевых примеров в качестве затравки и chain of thought — подсказываем модели как надо рассуждать)
〰️ Обычно модели ведут себя значительно лучше в одном из указанных режимов, так как на это влияет задача (objective), которую модель учится решать во время тренировки.
В UL2 ребята применили подход Mixture of Denoisers, при котором есть несколько objective, которые выбираются случайно с учетом заданной человеком пропорции.
А свой лучший чекпоинт авторы выложили в открытый доступ.
👉 GitHub | Блог | Статья
🔺 UL2. Mixture of denoisers
Друзья, тот момент, когда Google выложил свои наработки в open-source. А именно языковую модель на 20B параметров, которая показывает себя отлично одновременно на двух типах постановки задач:
• Fine-tuning (дообучение под конкретную задачу)
• In context learning (few-shot — даем несколько целевых примеров в качестве затравки и chain of thought — подсказываем модели как надо рассуждать)
〰️ Обычно модели ведут себя значительно лучше в одном из указанных режимов, так как на это влияет задача (objective), которую модель учится решать во время тренировки.
В UL2 ребята применили подход Mixture of Denoisers, при котором есть несколько objective, которые выбираются случайно с учетом заданной человеком пропорции.
А свой лучший чекпоинт авторы выложили в открытый доступ.
👉 GitHub | Блог | Статья