Табличка на данный момент. Сейчас считается quadratic sampling с другими параметрами (smoothing_factor больше и меньше), TFS и температуры вокруг 1.5 с min_p.
Mirostat по непонятным причинам очень плох, возможно надо learning rate тюнить.
В комментах к предыдущему посту я уже писал, что воспроизвел циферку на EQ-bench creative writing, и лучшие параметры дают буст 52 -> 62. Это очень хорошо, потому что бенч совсем другой и даже оценивался Opus'ом вместо GPT-4.
Mirostat по непонятным причинам очень плох, возможно надо learning rate тюнить.
В комментах к предыдущему посту я уже писал, что воспроизвел циферку на EQ-bench creative writing, и лучшие параметры дают буст 52 -> 62. Это очень хорошо, потому что бенч совсем другой и даже оценивался Opus'ом вместо GPT-4.