Лучший локальный LLM для кода — сначала VRAM

Лучший локальный LLM для кода прямо сейчас — Qwen3 Coder 30B A3B на карте 24 ГБ, Qwen2.5 Coder 14B в Q4 на 12–16 ГБ и Qwen2.5 Coder 7B в Q4 на 8 ГБ. Every one of these runs fully offline, autocompletes and refactors real code, and costs nothing per token. If your GPU has less VRAM than the model needs, drop the quant one notch before you drop the model size. This page matches models to VRAM brackets, compares the two coding families people actually argue about, and ends with runnable commands — generating code locally in about five minutes.

ЛИНЕЙКА СТУПЕНЕЙ

Прочитайте свою VRAM — nvidia-smi --query-gpu=memory.total --format=csv,noheader — и вставайте на свою ступень:

два правила делают линейку рабочей: 1–2 ГБ запаса под KV-кэш · сначала квант, потом размер

Два правила делают эту таблицу рабочей на практике: оставить 1–2 ГБ запаса VRAM под KV-кэш — 14B в Q4 плюс контекст на 8K токенов не влезает в бюджет 10 ГБ, потому что контекст считается в общем объёме. И сначала на ступень кванта вниз, потом на размер модели — кванты Q5/Q4 стоят несколько процентов качества; замена 14B на 7B стоит куда дороже.

СКОЛЬКО НУЖНО VRAM?

The honest rule of thumb: Честное правило большого пальца: Контекст 8K — это примерно 1 ГБ — значит, 14B в Q4 (~9 ГБ) плюс 8K токенов не влезает в 10 ГБ. Цифрами: 8 GB спокойно тянет модели 7B–8B в Q4 — ответы длиной в автодополнение, контекст 4K–8K. 12 GB — золотая середина для 14B в Q4 с реалистичным кодинг-контекстом 8K–16K. 16 GB открывает плотные модели класса 20B и Qwen3 14B с более длинным контекстом. 24 GB тянет Qwen3 Coder 30B A3B MoE в Q4 — самое близкое к облачному качеству кодинг-модели, что вы можете хостить сами. Только CPU? Работает — llama.cpp радостно крутит 7B Q4 на ноутбучном CPU на 5–10 ток/с — но считайте это упражнением на терпение, а не ежедневным драйвером.

QWEN3 CODER ПРОТИВ DEEPSEEK

Противостояние, о котором реально спрашивают полосы автодополнения, и ответ делится чисто:

• Qwen3 Coder (30B A3B) создан под цикл правок: он соблюдает соглашения формата инструкций для вызова инструментов, выдаёт согласованные диффы и — решающее — MoE-дизайн активирует лишь ~3B параметров на токен, так что одна карта 24 ГБ даёт 40–60 ток/с. Для IDE-стиля использования отзывчивость и есть качество.
• Линейка DeepSeek V3/R1 argues at a higher level: architecture decisions, tricky algorithms, multi-step reasoning. But the flagship is 600B+ parameters; locally you only run it heavily quantised on multi-GPU or Mac unified-memory rigs, and it writes prose about code faster than it writes code.
рассуждает этажом выше: архитектурные решения, хитрые алгоритмы, многошаговые выводы. Но флагман — это 600B+ параметров; локально вы гоняете его лишь в жёстком квантовании на мульти-GPU или Mac с единой памятью, и прозу о коде он пишет быстрее, чем сам код.

Локальный выбор: Qwen3 Coder на каждый день, DeepSeek — только если у вас есть железо хостить его почти в полной точности. На 8–16 ГБ спор беспредметен — модели Qwen2.5/3 Coder — сильнейшее из того, что влезает.

ПЯТЬ КОМАНД ДО РАБОЧЕГО СОСТОЯНИЯ

# 1. install Ollama (Linux)
curl -fsSL https://ollama.com/install.sh | sh

# 2. pull the model that fits your VRAM bracket (8 GB card shown)
ollama pull qwen2.5-coder:7b

# 3. chat with it interactively
ollama run qwen2.5-coder:7b

# 4. use it as an OpenAI-compatible API from any tool
curl http://localhost:11434/v1/chat/completions \\
  -d '{
    "model": "qwen2.5-coder:7b",
    "messages": [{"role": "user", "content": "Refactor this fn to be async: add(a,b){return a+b}"}]
  }'

# 5. point tools that expect OPENAI_BASE_URL at it
export OPENAI_BASE_URL=http://localhost:11434/v1

проверка: curl -s $OPENAI_BASE_URL/models → "qwen2.5-coder:7b" в списке

Где локальное выигрывает, точно: цикл правок — рефакторинги, болванки, каркасы тестов, «сделай эту функцию async» — там, где задержка и есть продукт, а дифф маленький. Где проигрывает: длинные многофайловые рассуждения по незнакомой архитектуре, где хостинговые фронтирные модели всё ещё отрабатывают свои токены. Гоняйте обе против одного endpoint и используйте каждую там, где она выигрывает.

конец ступеней · ничего не скачано · всё локально