Спарсил все запросы из lmsys, которые ещё не были в tagengo или других датасетах, вручную отсмотрел больше 2к, оставил 1к: lmsys_clean_ru_queries
На них прогоню штук 5 моделей и на выходах посчитаю AlpacaEval. Вот и будет датасет предпочтений.
На них прогоню штук 5 моделей и на выходах посчитаю AlpacaEval. Вот и будет датасет предпочтений.