Короче, я отведу на пару недель на доработку данных и настройку метричек, новых моделей не будет, только может одну версию Геммы доделаю. А там уже ACL, и ещё неделю тоже ничего не будет, кроме постов про статьи.
Что хочу сделать по SFT:
- Там скопилось 3к-4к диалогов в боте, их нужно обработать. Часть уйдёт на промпты для предпочтений, часть в тест-сет.
- Долью хорошие диалоги из перевода Пиппы, поищу другие варианты RP сетов на русском.
- Переоценю весь SFT сет новым Соннетом, оставлю только 8+ по обеим моделям (Опусу и новому Соннету).
- Соберу обучающую выборку с картинками и вызовами инструментов.
Что хочу сделать по предпочтениям:
- Долить больше многоходовых промптов
- Тоже переоценить всё Соннетом, может как-то ансамблировать оценки
По метрикам:
- Набрать тест-сет из диалогов в боте
- Сделать аналог Creative writing и RP бенчмарков для русского
Что хочу сделать по SFT:
- Там скопилось 3к-4к диалогов в боте, их нужно обработать. Часть уйдёт на промпты для предпочтений, часть в тест-сет.
- Долью хорошие диалоги из перевода Пиппы, поищу другие варианты RP сетов на русском.
- Переоценю весь SFT сет новым Соннетом, оставлю только 8+ по обеим моделям (Опусу и новому Соннету).
- Соберу обучающую выборку с картинками и вызовами инструментов.
Что хочу сделать по предпочтениям:
- Долить больше многоходовых промптов
- Тоже переоценить всё Соннетом, может как-то ансамблировать оценки
По метрикам:
- Набрать тест-сет из диалогов в боте
- Сделать аналог Creative writing и RP бенчмарков для русского