Новые данные (gpt4_conversations_multilingual) и щепотка дедупликации сделали только чуть-чуть хуже. Причём я нашёл конфиг с рекордно минимальным лоссом на валидации, но это не помогло. Но! Там есть очень длинные диалоги, возможно это поможет утилизировать весь контекст.
Дальше буду делать вот что:
- Попробую более ранние чекпоинты, не оптимальные по лоссу на валидации.
- Обучение поверх Suzume.
- Проверю на других бенчмарках типа MT-Bench'а и zero-shot RSG.
В комментах ещё скинули слияние Suzume и Сайги: Llama-3-8B-saiga-suzume-ties, это тоже оценю.
P.S. Летал в Белград и сейчас полечу обратно, поэтому немножко тяжело сейчас что-то разумное делать. Лёгкое похмелье не помогает.
Дальше буду делать вот что:
- Попробую более ранние чекпоинты, не оптимальные по лоссу на валидации.
- Обучение поверх Suzume.
- Проверю на других бенчмарках типа MT-Bench'а и zero-shot RSG.
В комментах ещё скинули слияние Suzume и Сайги: Llama-3-8B-saiga-suzume-ties, это тоже оценю.
P.S. Летал в Белград и сейчас полечу обратно, поэтому немножко тяжело сейчас что-то разумное делать. Лёгкое похмелье не помогает.