4 способа запустить LLM, такую как DeepSeek-R1, локально на вашем компьютере:
Запуск LLM локально — это как обладание суперспособностью:
🔸 Экономия средств
🔸 Конфиденциальность: ваши данные остаются на вашем компьютере
🔸 К тому же, это безумно интересно
Сегодня мы рассмотрим лучшие способы сделать это. Поехали:
1. Ollama
Самый простой способ — выполнить команду:
А установить Ollama можно одной строкой:
2. LMStudio
Устанавливается как приложение и предоставляет интерфейс, похожий на ChatGPT. Вы можете загружать и выгружать модели, как будто работаете с кассетами в магнитофоне
3. vLLM
Быстрая и удобная библиотека для выполнения и развертывания LLM. Всего несколько строк кода — и вы сможете локально запустить DeepSeek как сервер, совместимый с OpenAI, с поддержкой рассуждений
4. LlamaCPP
Минимальная настройка, топовая производительность. На видео DeepSeek-R1 на Mac Studio
👉 @DataSciencegx
Запуск LLM локально — это как обладание суперспособностью:
Сегодня мы рассмотрим лучшие способы сделать это. Поехали:
1. Ollama
Самый простой способ — выполнить команду:
ollama run deepseek-r1
А установить Ollama можно одной строкой:
curl -fsSL https://ollama.com/install.sh | sh
2. LMStudio
Устанавливается как приложение и предоставляет интерфейс, похожий на ChatGPT. Вы можете загружать и выгружать модели, как будто работаете с кассетами в магнитофоне
3. vLLM
Быстрая и удобная библиотека для выполнения и развертывания LLM. Всего несколько строк кода — и вы сможете локально запустить DeepSeek как сервер, совместимый с OpenAI, с поддержкой рассуждений
4. LlamaCPP
Минимальная настройка, топовая производительность. На видео DeepSeek-R1 на Mac Studio