Таблица подбора под 8 ГБ VRAM лжёт на 7 процентов

Лучшая модель ollama для 8 ГБ VRAM: qwen2.5:7b (Q4_K_M) — около 5.4 ГиБ со всем включённым на контексте 8k, максимальный запас и единственная из пяти, что влезает ещё и на 32k. llama3.1:8b (≈6.2 ГиБ) и qwen3:8b (≈6.4 ГиБ) влезают на 8k. gemma2:9b требует ≈8.6 ГиБ на 8k и проваливается — только контекст 4k.

Что на самом деле вмещает 8 ГБ VRAM?

Утверждение: карта «на 8 ГБ» никогда не хранит 8 десятичных ГБ модели — она хранит 8 бинарных ГиБ, и десктоп откусывает своё до того, как придёт модель. Маркетинг купил «8» дважды и дал ему два разных смысла; ваш убийца по памяти признаёт лишь один из них. 8 ГБ карты — это 8 × 2³⁰ байт = 8.59 десятичных ГБ. А 4.92 ГБ файла GGUF — это 4.92 × 10⁹ байт. Одно слово, две линейки, постоянный зазор в 7.4% между ними — я стал звать его призраком семи процентов: он преследует каждую таблицу VRAM в интернете, и почти ни одна не признается, какую линейку взяла.

Второй срез, который никто не закладывает: карта никогда не пуста. Linux-десктоп с композитором паркует там 0.3–0.5 ГиБ, а контекст CUDA/ROCm забирает ещё ~0.3. Без десктопа в вашем распоряжении ~7.6 ГиБ; на десктопе закладывайте 7.3 ГиБ доступных. Каждая оценка подгонки в этом тексте сверяется с этой линией.

Почему таблицы VRAM расходятся на 7 процентов?

Утверждение: таблицы не по-разному округляют — они смешивают линейки, и на границе именно смесь решает ответ. Возьмём gemma2:9b. Файл заявляет 5.76 ГБ (десятичных). Наивная таблица сравнивает 5.76 с «8» и печатает «заполнено на 72%» — отлично, годится. Честный стек на контексте 4k: 5.37 ГиБ (файл) + 1.31 ГиБ (KV) + 0.6 ГиБ (пол оверхеда) = 7.28 ГиБ против 7.3 доступных. Та же модель, та же карта, тот же контекст: 72% из таблицы и 99.7% реальности — одна и та же строка. Деление умещается в одну строку — ГиБ = ГБ ÷ 1.074 — и каждый приговор ниже показывает своё деление.

Лучшая модель ollama для 8 ГБ VRAM: таблица приговоров

Утверждение: на контексте 8k влезают четыре из пяти дефолтов сообщества — и та, что не влезает, это 9B, который списки продолжают советовать. Размеры измерены сегодня из файлового API Hugging Face (GGUF-репозитории bartowski, Q4_K_M — дефолтный квант ollama для этих семейств; mistral:7b поставляется в q4_0, в пределах ~2% от измеренного файла):

curl -s https://huggingface.co/api/models/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main \
  | jq '.[] | select(.path | test("Q4_K_M"))'

проверка: Q4_K_M.gguf → 4,920,739,232 байта, снято 2026-11-01. Та же строка прогнана по всем пяти репозиториям.

модель (тег ollama)	файл, десятичные ГБ	÷ 1.074 = ГиБ	KV на 8k	пол оверхеда	всего ГиБ	приговор на 8k
qwen2.5:7b	4.68	4.36	0.44	0.6	5.40	влезает — с наибольшим запасом; держит 32k (6.71)
mistral:7b	4.37	4.07	1.00	0.6	5.67	влезает, свободно
llama3.1:8b	4.92	4.58	1.00	0.6	6.18	влезает; 16k на волоске (7.18); 32k проваливается (9.18)
qwen3:8b	5.03	4.68	1.13	0.6	6.41	влезает — следите за бюджетом размышлений
gemma2:9b	5.76	5.37	2.63	0.6	8.59	проваливает 8k — только 4k (7.28, на волоске)

Победитель скучен назло: ollama pull qwen2.5:7b даёт больше всего полезного контекста на ГиБ, и это единственная строка здесь, что влезает, когда вы удваиваете контекст до 32k (6.71 ГиБ). Строка провала — квитанция, оправдывающая текст: gemma2:9b не дотягивает до 8k на 1.29 ГиБ даже с нулевым оверхедом в бюджете — 5.37 + 2.63 = 8.0 против 7.3 доступных. Ни один квант это не чинит; Q4_K_M уже самый мелкий.

Сколько VRAM съедает KV-кэш?

Утверждение: контекст — это вторая модель, которую вы грузите, и архитектура назначает цену — за токен gemma2:9b берёт в шесть раз больше, чем qwen2.5:7b. KV-кэш — рабочая память модели для разговора: 2 байта × слои × kv-heads × head-dim, в fp16, за токен. Стройное внимание Qwen2.5-7B, 28×4×128, берёт 56 КиБ/токен. У Gemma-2-9B расклад 42×8×256 берёт 336 КиБ/токен. Именно этот тариф за токен, а не размер файла, убивает длинный контекст на малой карте.

модель	KV на 4k	KV на 8k	KV на 16k	KV на 32k
qwen2.5:7b (56 КиБ/ток)	0.22 ГиБ	0.44	0.88	1.75
mistral:7b / llama3.1:8b (128)	0.50	1.00	2.00	4.00
qwen3:8b (144)	0.56	1.13	2.25	4.50
gemma2:9b (336)	1.31	2.63	5.25	10.50

Заметка именно 2026 года: qwen3 — размышляющая модель. Её токены рассуждения — это токены контекста: короткий ответ, «думавший» 3,000 токенов, платит за эти 3,000 по 144 КиБ за штуку, пока контекст не сбросится. На карте в 7.3 ГиБ бюджет размышлений — не украшение; это таблица KV выше, набирающая сложные проценты.

Арифметика, строка за строкой

Доступная линия: 8 ГиБ − 0.4 (десктоп, композитор + экран) − 0.3 (контекст CUDA) ≈ 7.3 ГиБ; headless возвращает ~0.3 сверху. Пол оверхеда 0.6 = контекст CUDA ~0.3 + вычислительный буфер ~0.3 на 8k; честный диапазон 0.4–1.2 ГиБ в зависимости от бэкенда и контекста — приговор провала gemma2 держится на всём диапазоне, потому пола достаточно. Тарифы KV: llama3.1-8B 32L×8kv×128d; qwen2.5-7B 28×4×128; qwen3-8B 36×8×128; gemma2-9B 42×8×256; mistral-7B-v0.3 32×8×128 — всё ×2 байта ×2 (K и V). Переводы в ГиБ: байты файла ÷ 2³⁰ (4,920,739,232 → 4.58; 4,683,074,240 → 4.36; 4,372,812,000 → 4.07; 5,027,784,224 → 4.68; 5,761,057,728 → 5.37). Заметка честности о gemma2: половина её слоёв — скользящее окно, так что реальный KV llama.cpp меньше этой консервативной цифры полного внимания — приговору провала скидка не нужна. последний тест 2026-11-01.

Чего эта таблица вам не скажет

Утверждение: каждое число выше — арифметика на публичных размерах, а два числа, которые таблица всё ещё угадывает, — оверхед и MoE, и именно там поселится следующее измерение. Пол оверхеда — диапазон в мундире; любой калькулятор, печатающий одну цифру оверхеда, угадывает, включая нашу собственную статью про калькулятор GGUF VRAM — её рана, отказывающаяся от MoE-математики, задокументирована там. И линия подгонки ползёт вместе с вашим десктопом: загрузитесь headless, вернёте ~0.3 ГиБ, и gemma2:9b на 4k перейдёт от «на волоске» к «просто впритык». Что бы это решило: те же пять моделей через ollama на настоящей карте 8 ГБ, цифры nvidia-smi против предсказаний этой таблицы. Тот стенд — не этот текст; карте на этом столе нечего делать в роли стенда.

последний тест 2026-11-01 — размеры файлов взяты вживую из файлового API Hugging Face; математика подбора — это деление, а не ощущения.