T-lite доступна в боте. Из скриншота видно, что есть серьёная проблема: x1.5 к длине ответа. Из этого же следует, что чиселки на бенчмарках завышены.
Модель — это доученная Llama-3 в несколько этапов на большом русском корпусе. Ещё раз: это не инстракт-тюн. Это почти что Вихрь, но не совсем, потому что токенизатор тот же.
Не поймите меня неправильно, модель отличная. Вторая Гемма и (возможно) Мистраль-Немо лучше, но они и больше. Эту модель можно в bf16 хостить в 24 Гб, как и оригинальную третью Лламу. При этом качество после доработки напильником у неё будет выше, чем у третьей Лламы.
Модель — это доученная Llama-3 в несколько этапов на большом русском корпусе. Ещё раз: это не инстракт-тюн. Это почти что Вихрь, но не совсем, потому что токенизатор тот же.
Не поймите меня неправильно, модель отличная. Вторая Гемма и (возможно) Мистраль-Немо лучше, но они и больше. Эту модель можно в bf16 хостить в 24 Гб, как и оригинальную третью Лламу. При этом качество после доработки напильником у неё будет выше, чем у третьей Лламы.