Mistral-7B-v0.2
Появились веса для обновлённой версии базовой модели Mistral-7B. Вроде как убрали Sliding-Window-Attention (SWA) и увеличили контекст до 32к токенов. Других деталей нет, но думаю это что-то вкусное.
P.S. HF репозиторий не официальный, но голые веса можно найти в недрах сайта Mistral
Huggingface, raw weights
Появились веса для обновлённой версии базовой модели Mistral-7B. Вроде как убрали Sliding-Window-Attention (SWA) и увеличили контекст до 32к токенов. Других деталей нет, но думаю это что-то вкусное.
P.S. HF репозиторий не официальный, но голые веса можно найти в недрах сайта Mistral
Huggingface, raw weights