Старший Авгур

Сварилась phi3-medium KTO. Пока выглядит так, что phi3-medium очень хороша с точки зрения соотношени...

3 бита совсем уж грустненькие 😭

Фух! Подключил ЮКассу к боту (@saiga_igusev_bot), можно купить подписку по /subbuy. Перед этим нужно...

Abliterated 70B Сайга в 4 битах (GPTQ) доступна в боте. Она стала чуть более зацензуренной почему-то...

Метрики для AWQ и GPTQ. Калибровал на валидации saiga_scored.

Простите, не мог не поделиться (модель = Opus, персонаж = Абатур, пока тестировал Вихрь решил провер...

Пока считается AWQ и GPTQ, задеплоил новый Вихрь в бота (@saiga_igusev_bot).Можно тыкать после /setm...

❓Кто там говорил, что алайнмент не вредит моделям?Пояснение:- Свой алайнмент я ещё не успел сделать...

Циферки с инференса 70B на 2xA100 с самым последним vllm:Processed prompts: 60%|██████████▏ |...

Сайга на llama-3-70b обучается. Я пока протестировал abliteration на оригинальной 70B, на машине с 2...