Старший Авгур

Подбор гиперпараметров KTO даёт результаты. Сейчас ещё запустил обучение поверх новых существующих а...

Про serverless: за полтора дня вышло 3$, при этом у меня idle timeout 3 минуты, то есть в это время...

Поставил третьей моделью gpt-4o в @saiga_igusev_bot, можно пользоваться, запросы и ответы собираю. Н...

О двойных BOS токенах в vllm (по мотивам тикета)Рассмотрим на примере meta-llama/Meta-Llama-3-8B-Ins...

Перешёл на markdown парсер, добавил отображение наличия ошибки. Ошибки обычно происходят как раз тог...

А теперь можно задавать модель: v4 или kto. По умолчанию kto. Плюс учтите, что если на модели до вас...

Теперь можно задавать системные промпты через set_system.Исходники: bot.py

Перешёл на aiogram, стало гораздо лучше, теперь всё параллелится как надо.По вопросам:- Бот работает...

Выложил GGUF версию KTO модели, тоже в отдельную ветку (kto). Ещё поднял бота на serverless runpod'е...

Выложил KTO-тюн в отдельную ветку (kto). Выложил бы как v5, но меня всё ещё смущает увеличение длины...