Calculadora de VRAM GGUF: pesa el modelo antes de que la descarga empiece

■ space · la báscula de puente · fig 1

■ la respuesta primero

VRAM ≈ pesos + caché KV + overhead; el tamaño del archivo es solo la línea de pesos.

Un 8B en Q4_K_M, contexto de 32k: ~9.8 GB — le erra a una tarjeta de 8 GB por 23%. El quant nunca fue el villano; el contexto lo fue.

El modo inverso responde la pregunta de verdad: entra un presupuesto, sale el quant más grande que cabe. Toda la aritmética, en tu navegador, nada se sube.

4.85 GBla línea de pesos — 8 × 4.85 / 8

4.00 GBel caché KV a 32k — 128 KB × 32 768

23%por encima de la tarjeta de 8 GB — el fallo

01LA BÁSCULA DE PUENTE

el modelo es la caja, el contexto es el carrete — la marca roja es la tarjeta que tienes

FIG 1 · LA BÁSCULA DE PUENTEteclas 1 · 2 · 3 — o los botones

CARGA ~9.8 GB · PESOS 4.85 GB · KV 4.00 GB · TARA 0.94 GB · VEREDICTO ERRADO POR 23%

la tecla 2 rebobina 4 096 → 32 768 → 131 072 tokens al carrete — mira la aguja, no el quant

la aguja se para en 9.8 de 16 — más allá de la marca roja en 8, y la bandera discute sola

02LA ARITMÉTICA

dos líneas mueven la aguja: lo que pesa la caja, lo que cuesta el contexto

el modelo entero, cuatro líneas

VRAM ≈ weights + KV cache + overhead
weights  = params × bits-per-weight / 8
KV cache = 2 × layers × kv_dim × context × 2 bytes   (f16)
overhead ≈ 0.7 GB CUDA/runtime + ~5% compute buffers

bits-por-peso según los formatos de quant ggml de llama.cpp — los mismos números con los que se arman los archivos de Hugging Face

Quant	bpw	Quant	bpw
Q2_K	3.35	Q5_K_M	5.69
Q3_K_M	3.91	Q6_K	6.59
IQ4_XS	4.25	Q8_0	8.50
Q4_K_M	4.85	F16	16.0

GQA—un 8B de clase Llama-3 guarda 8 cabeceras KV × 128 dims × 32 capas, que son 128 KB por token

sin GQA—un Llama 2 13B quema 640 KB por token — el quíntuple, y de un modelo de una era anterior y nominalmente más chico

el giro—dale la tecla 3 a la báscula — un 13B viejo pesa más, en factura de caché por token, que el caché de un 70B moderno

03EL CARRIL INVERSO

entra un presupuesto, sale un quant — una tarjeta fija, un modelo en mente: la pregunta que la gente tiene de verdad

la tirada del expediente: un 7B a 4 096 de contexto contra un presupuesto de 8 GB (geometría GQA)

Quant	Pesos	Total (est.)	Verdict
Q4_K_M	4.24 GB	~5.7 GB	cabe con aire
Q6_K	5.77 GB	~7.3 GB	justo
Q8_0	7.44 GB	~9.0 GB	offload parcial a CPU, mucho más lento

El tamaño del archivo te decía qué ibas a descargar. Jamás te decía qué podías correr.

una pantalla, y el debate de siempre «Q4 o Q8» se colapsa en la respuesta de tu hardware en vez de la de otro

04CÓRRELO TÚ MISMO

tres entradas que puedes re-derivar a mano, un veredicto con el que puedes discutir — los defaults son el ejemplo trabajado del expediente

parámetros

quant

ventana de contexto

1k32 768 tokens128k

geometría de atención

pesos — 8 × 4.85 / 84.85 GB

caché KV — 128 KB × 32 7684.00 GB

overhead — 0.7 GB CUDA + 5% de buffers0.94 GB

LA BÁSCULA APORTA~9.8 GB

el veredicto «tarjeta de 8 GB»: errado por 23% — el quant nunca fue el villano; el contexto lo fue.

franja de tarjetas: pleno · cabe — oscuro: justo — pasada la línea punteada del 85% — rayado: pasado · offload parcial

enrutado MoE—en la inferencia solo se tocan los expertos activos, pero esta aritmética cobra todo el set de pesos — así que los totales MoE leen alto

quant mixto—Q4_K_M ya es de por sí un promedio entre tensores — un archivo de verdad aterriza a unos cuantos por ciento del valor de la tabla

padding CUDA—los 0.7 GB lisos varían según la versión del backend — una cifra de medio camino, no una constante de la naturaleza

el encabezado—cuando una decisión vale más que unos cientos de megabytes, lee el encabezado del archivo — llama.cpp trae para eso gguf_dump.py

■ sello honesto Probado en: tablas bpw de llama.cpp · geometría GQA de Llama-2/Llama-3 · en el navegador, nada se sube. Registrado 2026-10-02, refrescado 2026-10-06; la herramienta vive como un archivo HTML único, sin dependencias, en github.com/mrsaynothing/gguf-vram-calculator. La báscula de arriba corre la misma aritmética que la herramienta — los defaults reproducen el ejemplo trabajado del expediente (8B · Q4_K_M · 32k → ~9.8 GB, 23% por encima de una tarjeta de 8 GB) al decimal exacto.

fin de la báscula de puente · nada fetchado · todo local