Калькулятор VRAM GGUF: взвесьте модель, прежде чем начнётся закачка

■ space · весовая платформа · fig 1

■ сначала ответ

VRAM ≈ веса + KV-кэш + оверхед; размер файла — только строка весов.

8B в Q4_K_M, контекст 32k: ~9.8 GB — промах мимо карты 8 GB на 23%. Квант никогда не был злодеем; злодеем был контекст.

Обратный режим отвечает на настоящий вопрос: на входе бюджет, на выходе крупнейший влезающий квант. Вся арифметика — в браузере, наружу не уходит ничего.

4.85 GBстрока весов — 8 × 4.85 / 8

4.00 GBKV-кэш при 32k — 128 KB × 32 768

23%сверх карты 8 GB — промах

01ВЕСОВАЯ ПЛАТФОРМА

модель — ящик, контекст — бобина — красная метка это карта, что у вас

FIG 1 · ВЕСОВАЯ ПЛАТФОРМАклавиши 1 · 2 · 3 — или кнопки

НАГРУЗКА ~9.8 GB · ВЕСА 4.85 GB · KV 4.00 GB · ТАРА 0.94 GB · ВЕРДИКТ ПРОМАХ НА 23%

клавиша 2 мотает на бобину 4 096 → 32 768 → 131 072 токенов — глядите на стрелку, не на квант

стрелка стоит на 9.8 из 16 — дальше красной метки на 8, и флажок спорит сам за себя

02АРИФМЕТИКА

две строки двигают стрелку: сколько весит ящик, сколько стоит контекст

вся модель, четыре строки

VRAM ≈ weights + KV cache + overhead
weights  = params × bits-per-weight / 8
KV cache = 2 × layers × kv_dim × context × 2 bytes   (f16)
overhead ≈ 0.7 GB CUDA/runtime + ~5% compute buffers

бит-на-вес из квант-форматов ggml llama.cpp — те же числа, из которых собраны файлы на Hugging Face

Quant	bpw	Quant	bpw
Q2_K	3.35	Q5_K_M	5.69
Q3_K_M	3.91	Q6_K	6.59
IQ4_XS	4.25	Q8_0	8.50
Q4_K_M	4.85	F16	16.0

GQA—8B класса Llama-3 держит 8 KV-голов × 128 dims × 32 слоя, это 128 KB на токен

без GQA—Llama 2 13B жжёт 640 KB на токен — впятеро больше, от модели эры постарше и номинально мельче

перевертыш—нажмите клавишу 3 на весовой — старый 13B весит больше, по счёту кэша на токен, чем кэш-счёт современного 70B

03ОБРАТНАЯ ПОЛОСА

бюджет на входе, квант на выходе — карта фиксированная, модель на уме: вопрос, который у людей настоящий

собственный заход архива: 7B при 4 096 контекста против бюджета 8 GB (геометрия GQA)

Quant	Веса	Total (est.)	Verdict
Q4_K_M	4.24 GB	~5.7 GB	влезает с запасом
Q6_K	5.77 GB	~7.3 GB	впритык
Q8_0	7.44 GB	~9.0 GB	частичный offload на CPU, сильно медленнее

Размер файла говорил вам, что вы скачаете. Он никогда не говорил, что вы сможете запустить.

один экран, и вековой спор «Q4 или Q8» схлопывается в ответ вашего железа вместо чужого

04ЗАПУСТИТЕ САМИ

три входа, которые можно вывести заново руками, один вердикт, с которым можно поспорить — умолчания из проработанного примера архива

параметры

quant

окно контекста

1k32 768 токенов128k

геометрия внимания

веса — 8 × 4.85 / 84.85 GB

KV-кэш — 128 KB × 32 7684.00 GB

оверхед — 0.7 GB CUDA + 5% буферов0.94 GB

ПОЛНЫЙ ВЕС~9.8 GB

вердикт «карта 8 GB»: промах на 23% — квант никогда не был злодеем; злодеем был контекст.

полоса карт: сплошной · влезает — тёмный · впритык — за пунктиром 85% — штрихованный · перебор · частичный offload

роутинг MoE—на инференсе трогаются только активные эксперты, но эта арифметика оплачивает весь вес-набор — потому MoE-итоги читаются завышенными

смешанный квант—Q4_K_M сам по себе среднее по тензорам — реальный файл сядет на несколько процентов от табличного значения

CUDA-пэддинг—плоские 0.7 GB меняются с версией бэкенда — цифра середины пути, не константа природы

заголовок—когда решение стоит больше пары сотен мегабайт, читайте заголовок файла — llama.cpp везёт для этого gguf_dump.py

■ честный штамп Проверено на: bpw-таблицах llama.cpp · геометрии GQA Llama-2/Llama-3 · в браузере, наружу не уходит ничего. Записано 2026-10-02, обновлено 2026-10-06; утилита живёт одним HTML-файлом, без зависимостей, в github.com/mrsaynothing/gguf-vram-calculator. Весовая выше гоняет ту же арифметику, что и утилита — умолчания воспроизводят проработанный пример архива (8B · Q4_K_M · 32k → ~9.8 GB, 23% сверх карты 8 GB) до последнего десятичного знака.

конец весовой платформы · ничего не fetched · всё локально