Как запустить LLM и др.DL модельки на своём тапке MLC-LLM.
Очень интересное решение для инференса и развертывания вашей LLM,лозунг которого:
"Дайте возможность каждому разрабатывать, оптимизировать и развертывать модели искусственного интеллекта изначально на всех устройствах"
Ребятки имеют свою доку. Они опираются на экосистемы с открытым исходным кодом, включая HuggingFace и Google, а также LLM с открытым исходным кодом, такие как Llama, Vicuna, Dolly и др.
Конкретные инструкции по запуску LLM и чат-ботов изначально на устройствах предоставлены для iPhone, Windows, Linux, Mac и веб-браузеров.
Для пользователей iPhone MLC LLM предоставляет приложение для чата iOS, которое можно установить через страницу TestFlight. Для бесперебойной работы приложению требуется не менее 6 ГБ оперативной памяти, и оно было протестировано на iPhone 14 Pro Max и iPhone 12 Pro. Скорость генерации текста в приложении iOS временами может быть нестабильной и вначале может работать медленно, прежде чем восстановиться до нормальной скорости.
Для пользователей Windows, Linux и Mac MLC LLM предоставляет приложение интерфейса командной строки (CLI) для общения с ботом в терминале. Есть поддержка Conda.
Мне кажется, что идея запустить LLAMA с cpp компиляцией под c++ находит всё больший отклик у юзеров и такие системные решения как MLC-llm очень к месту.
Го пробовать!
Очень интересное решение для инференса и развертывания вашей LLM,лозунг которого:
"Дайте возможность каждому разрабатывать, оптимизировать и развертывать модели искусственного интеллекта изначально на всех устройствах"
Ребятки имеют свою доку. Они опираются на экосистемы с открытым исходным кодом, включая HuggingFace и Google, а также LLM с открытым исходным кодом, такие как Llama, Vicuna, Dolly и др.
Конкретные инструкции по запуску LLM и чат-ботов изначально на устройствах предоставлены для iPhone, Windows, Linux, Mac и веб-браузеров.
Для пользователей iPhone MLC LLM предоставляет приложение для чата iOS, которое можно установить через страницу TestFlight. Для бесперебойной работы приложению требуется не менее 6 ГБ оперативной памяти, и оно было протестировано на iPhone 14 Pro Max и iPhone 12 Pro. Скорость генерации текста в приложении iOS временами может быть нестабильной и вначале может работать медленно, прежде чем восстановиться до нормальной скорости.
Для пользователей Windows, Linux и Mac MLC LLM предоставляет приложение интерфейса командной строки (CLI) для общения с ботом в терминале. Есть поддержка Conda.
Мне кажется, что идея запустить LLAMA с cpp компиляцией под c++ находит всё больший отклик у юзеров и такие системные решения как MLC-llm очень к месту.
Го пробовать!