GigaChat
Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.
В основе нашего GigaChat модели— NeONKA.
Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).
В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).
При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели
Подробности в нашей статье на хабр .
UPD. Считаю, без героев дня совсем никак. Из моих подписчиков, мои герои: @lizagonch, @averkij, @walfry, @oulenspiegel, @dayyass, @kuznetsoff87,@nikolaygerasimenko, @qwertysobaka
Надеюсь никого не забыл)
Наша проба пера в Instruct подходах при обучении Decoder like моделей. В течении последних нескольких месяцев мы усердно работали над нашим детищем - GigaChat. Пока это Instruct Only SFT моделька, но вскоре, надеюсь, мы порадуем вас и RLHF экспериментами.
В основе нашего GigaChat модели— NeONKA.
Текущая версия основана на претрейне ruGPT3.5 13B + SFT (supervised fine-tuning).
В side by side тестах GigaChat vs ChatGPT (когда разметчики выбирают предпочтительный вариант) результат — 30:70 в пользу последней (начинали с 3 против 97).
При этом, коллеги, планируют выкладывать компоненты лежащие в основе этого решения в open source, чтобы вы, друзья, могли сами обучать (я думаю скорее тюнить) подобные модели
Подробности в нашей статье на хабр .
UPD. Считаю, без героев дня совсем никак. Из моих подписчиков, мои герои: @lizagonch, @averkij, @walfry, @oulenspiegel, @dayyass, @kuznetsoff87,@nikolaygerasimenko, @qwertysobaka
Надеюсь никого не забыл)