Ollama против LM Studio: два гаража, где живут ваши модели

■ space · два гаража

ЭКСКУРСИЯ

Скажите, зачем пришли. Гаражи ответят.

ВЫБОР: Ollama — сервисный гараж. Стартует при загрузке и отвечает на :11434, пока ваша машина остаётся без мыши.

# the whole handshake
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen2.5-coder:7b
curl http://localhost:11434/api/chat -d '{
  "model": "qwen2.5-coder:7b",
  "messages": [{"role":"user","content":"Explain bash exit codes in two lines"}],
  "stream": false
}'

# Developer tab → start server — or the lms CLI
lms server start
lms load qwen2.5-coder-7b-instruct --gpu max
curl http://localhost:1234/v1/chat/completions \\
  -H "Content-Type: application/json" \\
  -d '{"model":"qwen2.5-coder-7b-instruct","messages":[{"role":"user","content":"Write a jq filter for the top process by CPU"}]}'

ящик лицензий: Ollama — MIT, вы отвечаете только за лицензию модели (у Llama, Mistral, Qwen и Gemma свои условия). LM Studio бесплатна для личного использования; рабочее использование идёт через её бесплатный work-флаг лицензии, а компании выше порога по выручке платят. Отдел закупок спросит — эта строка закрывает спор.

О ЧЁМ ГОВОРИТ КОЛОНКА ПРОЦЕССОРА

Ollama при старте распознаёт CUDA, Metal и ROCm и сгружает всё, что влезает. Проверка — одна команда, ответ — одно слово. Переверните её:

# what did Ollama actually load — GPU or CPU?
ollama ps

# force the issue if it silently fell back to CPU:
OLLAMA_NUM_GPU=999 ollama run qwen2.5-coder:7b

OLLAMA_NUM_GPU перекрывает число слоёв — большое число: всё на карту; 0: только CPU. Это щуп — настоящее лекарство, квант, который влезает.

LM Studio показывает тот же контроль в виде ползунка выгрузки на GPU для каждой модели — с ним экспериментировать приятнее, одно из её по-настоящему сильных мест.

ВОПРОС СКОРОСТИ, ЗАКРЫТ

Та же модель, тот же квант, то же железо: ничья — оба делегируют llama.cpp. Заявленные разрывы обычно сравнивают разные кванты или длины контекста. Мерьте на своей машине:

# Ollama: --verbose prints eval rate (tokens/sec) at the end
ollama run qwen2.5-coder:7b --verbose "Summarise what a Makefile does in one sentence."

В LM Studio загрузите тот же GGUF с тем же контекстом и числом GPU-слоёв; смотрите tokens/s на панели статистики. Прогоните дважды — первый запуск это шум прогрева.

НАЙДИТЕ СВОЮ СТРОКУ

Правила большого пальца, без сожалений в любую сторону:

1. Хотите пользоваться моделями — болтать, пробовать, крутить ползунки: LM Studio.
2. Хотите строить на моделях — скрипты, агенты, CI, домашний API-сервис: Ollama.
3. Хотите и то и другое — ставьте оба; уживаются отлично. Только не дайте обоим серверам делить один порт, и помните: модель, загруженная дважды, съедает VRAM дважды.

Оба понимают GGUF и крутят одну и ту же родословную — Ollama встраивает llama.cpp; LM Studio использует рантаймы на базе llama.cpp. Тот же файл, тот же результат; инструменты отличаются вокруг модели.

Локальные модели отлично сочетаются с агентными инструментами для кодинга: наведите клиент, совместимый с OpenAI, на свой endpoint — бесконечные completions по нулевой цене за токен. Единственный счёт — электричество.

конец «двух гаражей» · ничего не скачано · всё локально