> GGUF and the VRAM budget▋

1Лучший локальный LLM для кода — сначала VRAMСтупени 8/12/16/24 ГБ: Qwen2.5 Coder 7B на 8 ГБ, 14B в Q4 на 12–16 ГБ, Qwen3 Coder 30B A3B на 24 ГБ — запас под KV и квант сначала, размер потом, каждая команда работает как есть.
2Уровни квантования GGUF, взвешенные вживую: Q4_K_M против Q8_0 по размеру, VRAM и качествуКаждый уровень от Q2_K до Q8_0 на одной консоли — выбирайте уровень, настраивайте число параметров, а размер отвечает одной строкой арифметики.
3Калькулятор VRAM GGUF: взвесьте модель, прежде чем начнётся закачкаВеса, KV-кэш и вердикт по каждой карте из трёх входов, которые можно вывести заново руками — промах «модели на 8-гигабайтную карту» на 23%, разжёвано и вживую.
5Таблица подбора под 8 ГБ VRAM лжёт на 7 процентовКарта на 8 ГБ вмещает 8.59 десятичных ГБ, но доступно лишь ~7.3 ГиБ. Размеры измерены сегодня, расчёт KV показан, одна честная таблица — любимец таблиц 9B не влезает на 8k.
6Может ли vLLM запустить GGUF? Да — через плагин, только на GPU\nПлагин, синтаксис repo:quant, флаг --tokenizer, который не бывает необязательным — и таблица железа, выводящая CPU за дверь.\n
7Может ли vLLM гонять GGUF? Десять вопросов — сначала ответыFAQ-хаб: плагин да, только GPU, repo:quant_type плюс токенизатор, который не бывает опциональным — каждый ответ раньше объяснения.
9vLLM на Windows: три двери, одна поддержаннаяДоки говорят OS: Linux — WSL2 это поддержанная дорога, нативный форк платит форк-налог, а Ollama, скорее всего, и был вашим настоящим ответом.