Старший Авгур

Computing machinery and intelligenceСтатья: ссылкаВнезапный обзор относительно новой статьи. Централ...

https://ilyagusev.github.io/ping_pong_bench/ru_v2Новая таблица после штрафа на длину. Ещё теперь мож...

ПингПонг V2 для русского после добавления моделей из комментариев и фиксов.Обратите внимание на внез...

Кстати, вот ещё хорошие новости для всех, кто интересуется темой mechanistic interpretability. Появи...

ПингПонг V2Ссылка: https://ilyagusev.github.io/ping_pong_bench/ru_v2Все последние недели готовил нов...

Кстати, лидерборд моделей по моим ручным оценкам. Выборка из 265 диалогов.

Ладно, забейте. Это всё очень интересно, но простое усреднение Sonnet'а и gpt-4o даёт 0.67 😳Так что...

Корреляция с человеческими (моими) оценками в разных вариантах агрегации. Нижняя строчка — только Со...

Как разные языковые оценивают друг друга в расширенном ПингПонге. Оценки отнормированы по минимальны...

Есть два русских бенча:- RuGeneralArena. Концепция из ArenaHard: 500 вопросов, side-by-side автомати...