Проснулись потянулись, посмотрели на преемника Alpaca - GPT4All (блин, не животное!)
На самом деле преемник не полноценный - способ сбора данных другой, самогенерации данных нет (но ответы от GPT-3.5-Turbo есть!).
Собрали в пачку два датасета - OIG (тут писал что это) от LAION и вопросы StackOverflow. Был ещё и датасет P3 от BigScience, но после генерации ответов от ChatGPT стало ясно, что он не очень (слишком однородные и короткие семплы). Поэтому всего было 437,605 пар для обучения - в 14 раз больше Alpaca!
Под капотом - затюненная LLAMA 7B, с и без использования LoRA
$500 на сбор данных + $800 на тренировку ($100 для LoRA-версии)
Код (включая все скрипты обучения и собранные данные): гитхаб
Лог обучения: опа
Статья: пфд
И вот тут есть ВЕСА натрененной модельки (но нужна ванильная LLAMA 7B, чтобы запустить)
На самом деле преемник не полноценный - способ сбора данных другой, самогенерации данных нет (но ответы от GPT-3.5-Turbo есть!).
Собрали в пачку два датасета - OIG (тут писал что это) от LAION и вопросы StackOverflow. Был ещё и датасет P3 от BigScience, но после генерации ответов от ChatGPT стало ясно, что он не очень (слишком однородные и короткие семплы). Поэтому всего было 437,605 пар для обучения - в 14 раз больше Alpaca!
Под капотом - затюненная LLAMA 7B, с и без использования LoRA
$500 на сбор данных + $800 на тренировку ($100 для LoRA-версии)
Код (включая все скрипты обучения и собранные данные): гитхаб
Лог обучения: опа
Статья: пфд
И вот тут есть ВЕСА натрененной модельки (но нужна ванильная LLAMA 7B, чтобы запустить)