Наткнулся на ещё один git с очередной LLM по типу LLAMA и тп.- PandaLM.
Панда это не только очередной SFT на инструкциях, но ещё и стабильный, как утверждают авторы пайп тюна и оценки моделей LLM между собой. Тестовый сет и скрипт для него они тоже положили в открытый доступ. А так же провели side by side с ChatGPT и говорят, что достигли близкое к ней качество. Таблица с метриками в репо.
При этом, данные для обучения панды они не выложили, но скрипт файнтюна прилагается. Кстати зашёл в него и вижу естественно wget на alpaca.json. :) Но уверен, что-то свое в формате self-instruct нагенерили.
Да и забыл. Модельку PandaLM 7b можно найти на обнимашках как и код для запуска. Но там всё стандартно. Статей кроме гита не нашёл( Поэтому ожидаю, что это таки вариации на тему Alpaca...
Ну и ещё
Из-за опасений по поводу проблем с авторским правом мы не предоставляем модель, настроенную с помощью инструкции. Модель, настроенная по инструкции, может быть легко воспроизведена в PandaLM/pandalm/scripts/inst-tune.sh .
Да и не всё ещё выложено пишут, что весь обещанный код дольют.
Грусть... Все так спешат на хайпе застолбить место, что не докатывают код заявленной функциональности, надеюсь все будет как с LLAMa Adapter и обещания выполнят и всё дольют
Панда это не только очередной SFT на инструкциях, но ещё и стабильный, как утверждают авторы пайп тюна и оценки моделей LLM между собой. Тестовый сет и скрипт для него они тоже положили в открытый доступ. А так же провели side by side с ChatGPT и говорят, что достигли близкое к ней качество. Таблица с метриками в репо.
При этом, данные для обучения панды они не выложили, но скрипт файнтюна прилагается. Кстати зашёл в него и вижу естественно wget на alpaca.json. :) Но уверен, что-то свое в формате self-instruct нагенерили.
Да и забыл. Модельку PandaLM 7b можно найти на обнимашках как и код для запуска. Но там всё стандартно. Статей кроме гита не нашёл( Поэтому ожидаю, что это таки вариации на тему Alpaca...
Ну и ещё
Из-за опасений по поводу проблем с авторским правом мы не предоставляем модель, настроенную с помощью инструкции. Модель, настроенная по инструкции, может быть легко воспроизведена в PandaLM/pandalm/scripts/inst-tune.sh .
Да и не всё ещё выложено пишут, что весь обещанный код дольют.
Грусть... Все так спешат на хайпе застолбить место, что не докатывают код заявленной функциональности, надеюсь все будет как с LLAMa Adapter и обещания выполнят и всё дольют