🔺 Новости недели #ml_news
🔸 Microsoft провела event про встраиваниеGTA GPT 4 в свой поиск. Google ответил на следующий день, рассказав про своего ассистента Bard, но фурора не произвел, да и демки, чтобы попробовать, пока что нет.
🔸 BioGPT. Microsoft выложила модели для анализа текстов на медицинскую тематику. Весов на 1.5B, на специализированном бенчмарке PubMedQA показывает SOTA результат. Статья.
🔸 Андрей Карпати перешел в OpenAI и из публичного API сразу пропала ChatGPT, а скрипт перестал работать. Также в интерфейсе появилась возможность подписки на платный план за $20.
🔸 PEFT. В huggingface собрали текущие методы p-tuning'а в одну библиотеку peft. P-tuning, — это когда берешь жирную сеть, но дообучаешь какие-то отдельные части или вставки, — слои-адаптеры, дополнительные эмбеддинги. Очень круто, пока что есть несколько самых распространенных методов. Можно прикручивать к диффузионкам (colab).
🔸 Коллеги засабмитили модель FRED-T5 на денойзерах (как в UL2) на RussianSuperGlue и вышли на второе место. Это претрейн для русского, который можно будет использовать для своих seq2seq задач, качество должно быть повыше чем у текущих моделек. Веса для 1.7B скоро будут тут.
🔸 Also коллеги добавили в Kandinsky 2.0 синтез картинок из других картинок же наподобие midjouney. Ну и вроде получилось неплохо. Ждем релиз.
🔸 Я попробовал выравнивать аудиокнигу и текст, пока что получилось транскрибировать аудио и достать временные метки на уровне слов. Осталось выровнять это с оригиналом и прикрутить к книжке-трансформеру. Следим за событиями.
🔸 Microsoft провела event про встраивание
🔸 BioGPT. Microsoft выложила модели для анализа текстов на медицинскую тематику. Весов на 1.5B, на специализированном бенчмарке PubMedQA показывает SOTA результат. Статья.
🔸 Андрей Карпати перешел в OpenAI и из публичного API сразу пропала ChatGPT, а скрипт перестал работать. Также в интерфейсе появилась возможность подписки на платный план за $20.
🔸 PEFT. В huggingface собрали текущие методы p-tuning'а в одну библиотеку peft. P-tuning, — это когда берешь жирную сеть, но дообучаешь какие-то отдельные части или вставки, — слои-адаптеры, дополнительные эмбеддинги. Очень круто, пока что есть несколько самых распространенных методов. Можно прикручивать к диффузионкам (colab).
🔸 Коллеги засабмитили модель FRED-T5 на денойзерах (как в UL2) на RussianSuperGlue и вышли на второе место. Это претрейн для русского, который можно будет использовать для своих seq2seq задач, качество должно быть повыше чем у текущих моделек. Веса для 1.7B скоро будут тут.
🔸 Also коллеги добавили в Kandinsky 2.0 синтез картинок из других картинок же наподобие midjouney. Ну и вроде получилось неплохо. Ждем релиз.
🔸 Я попробовал выравнивать аудиокнигу и текст, пока что получилось транскрибировать аудио и достать временные метки на уровне слов. Осталось выровнять это с оригиналом и прикрутить к книжке-трансформеру. Следим за событиями.