Старший Авгур

Мой старый враг, bos токен, опять всё поломал. Если что-то спрашивали, сделайте /reset и спросите ещ...

Если хочешь, чтобы что-то было сделано, сделай это сам.Образ с vllm для runpod, который поддерживает...

Спасибо Игорю,https://mistral.ai/news/mistral-nemo/Архитектурно как будто бы старый добрый Мистраль,...

Счастье было так близко...Но оно ещё не работает, код vllm немножко критично поменялся за месяц.

Ну так-то лучше. Только всё ещё часть промптов зацензурена.

С abliterated моделью явно что-то не так, попробую поправить её. Ну и тюн сделал только хуже, хоть и...

Рано, ох рано я взялся за вторую Гемму. Официальные приколы:- Связанный embed_tokens и lm_head (из-з...

Что-то получилось. Оказалось, что хоть ортогонализация не даёт те же самые результаты, что и непосре...

Ортогонализация во второй Гемме не работает.Проблему я понял довольно быстро, просто там есть дополн...

Немножко смешно (скрин с abliterated геммы)