Сиолошная

Вторая добивающая новость: вот мы сидим думаем "ну этот ваш AGI ещё когда будет-то, эти GPT-хи требуют целый датацентр, чтобы крутиться", а в это время...



Люди переписали движок предсказаний нейронки на C++, пооптимизировали некоторые слабые точки, и теперь модель на 66 миллиардов параметров - та самая LLAMA, которую Facebook выпустил недавно (и она разлетелась по торрентам, хотя это была "закрытая бета") - можно запускать на Макбуке, причём, даже не m2 max + 96GB, а всего лишь m1 pro + 64GB RAM (то есть на прошлом поколении железа).



Скорость работы - 2 токена (слова) в секунду, так что как будто бы вам отвечает живой человек в режиме онлайн, и вы видите его набор. На телефоне или холодильнике, конечно, пока запускатсья рано - но представьте, что будет в 2025м году 😐



Ох, и да, про качество этой LLAMA - мой знакомый недавно игрался с ней, и сказал, что выглядит очень круто, лучше, чем то, что у него получается от GPT-3.5, доступной по API (InstructGPT, но не ChatGPT). Не буду делать выводы по одной точке, но просто отмечу, что это не "а, та фиговая неработающая моделька", а что-то в целом очень приличное.



UPD: пост с описанием того, что и как