Выложил GGUF версию KTO модели, тоже в отдельную ветку (kto). Ещё поднял бота на serverless runpod'е, посмотрим, насколько это выйдет дорого. Бот: @saiga_igusev_bot
В истории учитываются последние 10 сообщений. Команды можно посмотреть по "/".
Первый ответ может быть довольно долгим, минуты 2, но потом должно быть достаточно быстро.
UPD: обновил до 4090, проставил правильные параметры генерации. Сделайте reset и спросите ещё раз, если вопрос подвис😂
В истории учитываются последние 10 сообщений. Команды можно посмотреть по "/".
Первый ответ может быть довольно долгим, минуты 2, но потом должно быть достаточно быстро.
UPD: обновил до 4090, проставил правильные параметры генерации. Сделайте reset и спросите ещё раз, если вопрос подвис