Ну что, сработала техника, получается. А нужен был всего лишь простой советский перевод Агаты Кристи .
Сайга пока догоняет, поэтому в качестве основы я взял Вихрь-Немо.
Аналогично оригинальному Ataraxy, дообучил модель через ORPO на датасете, описанном выше, и слил получившийся тюн с оригиналом. Внезапно получил +0.1 на ПингПонге. На арене стало чуть хуже, 77 у новой модели vs 80 у оригинала.
Сама модель: vikhr_nemo_orpo_dostoevsky_12b_slerp
В боте она тоже есть.
Сайга пока догоняет, поэтому в качестве основы я взял Вихрь-Немо.
Аналогично оригинальному Ataraxy, дообучил модель через ORPO на датасете, описанном выше, и слил получившийся тюн с оригиналом. Внезапно получил +0.1 на ПингПонге. На арене стало чуть хуже, 77 у новой модели vs 80 у оригинала.
Сама модель: vikhr_nemo_orpo_dostoevsky_12b_slerp
В боте она тоже есть.