La tabla de ajuste de la VRAM de 8 GB miente un 7 por ciento

Mejor modelo de ollama para 8 GB de VRAM: qwen2.5:7b (Q4_K_M) — unos 5.4 GiB con todo incluido a 8k de contexto, el mayor margen y el único de los cinco que sigue entrando a 32k. llama3.1:8b (≈6.2 GiB) y qwen3:8b (≈6.4 GiB) entran a 8k. gemma2:9b pide ≈8.6 GiB a 8k y falla — solo contexto 4k.

¿Qué contiene de verdad una VRAM de 8 GB?

Tesis: una tarjeta «de 8 GB» nunca carga 8 GB decimales de modelo — carga 8 GiB binarios, y el escritorio cobra su parte antes de que llegue el modelo. El marketing compró el «8» dos veces y le dio dos significados distintos; tu asesino de memoria solo honra uno de los dos. Los 8 GB de la tarjeta son 8 × 2³⁰ bytes = 8.59 GB decimales. Los 4.92 GB de un archivo GGUF son 4.92 × 10⁹ bytes. Misma palabra, dos reglas, una brecha fija del 7.4% entre ellas — empecé a llamarla el fantasma del siete por ciento: persigue a cada tabla de VRAM de internet y casi ninguna confiesa qué regla eligió.

El segundo recorte que nadie presupuesta: la tarjeta nunca está vacía. Un escritorio Linux con compositor estaciona allí 0.3–0.5 GiB, y el contexto CUDA/ROCm toma ~0.3 más. Sin escritorio te quedan ~7.6 GiB para jugar; en un escritorio, cuenta con 7.3 GiB utilizables. Cada veredicto de ajuste de este texto se mide contra esa línea.

¿Por qué las tablas de VRAM discrepan un 7 por ciento?

Tesis: las tablas no redondean distinto — mezclan reglas, y en el borde la mezcla decide la respuesta. Tomemos gemma2:9b. El archivo declara 5.76 GB (decimal). Una tabla ingenua compara 5.76 contra «8» y escribe 72% lleno — listo, se despacha. La pila honesta a 4k de contexto: 5.37 GiB (archivo) + 1.31 GiB (KV) + 0.6 GiB (suelo de overhead) = 7.28 GiB contra 7.3 utilizables. Mismo modelo, misma tarjeta, mismo contexto: el 72% de la tabla y el 99.7% de la realidad son la misma fila. La división cabe en una línea — GiB = GB ÷ 1.074 — y cada veredicto de abajo muestra su división.

Mejor modelo de ollama para 8 GB de VRAM: la tabla del veredicto

Tesis: a 8k de contexto, cuatro de los cinco valores por defecto de la comunidad entran — y el que no entra es el 9B que los listicles siguen recomendando. Tamaños medidos hoy desde la API de archivos de Hugging Face (repos GGUF de bartowski, Q4_K_M — el quant por defecto de ollama para estas familias; mistral:7b trae q4_0 de fábrica, a ~2% del archivo medido):

curl -s https://huggingface.co/api/models/bartowski/Meta-Llama-3.1-8B-Instruct-GGUF/tree/main \
  | jq '.[] | select(.path | test("Q4_K_M"))'

verificación: Q4_K_M.gguf → 4,920,739,232 bytes, tomados el 2026-11-01. La misma línea corrió para los cinco repos.

modelo (tag de ollama)	archivo, GB decimal	÷ 1.074 = GiB	KV a 8k	suelo de overhead	total GiB	veredicto a 8k
qwen2.5:7b	4.68	4.36	0.44	0.6	5.40	entra — el más holgado; aguanta 32k (6.71)
mistral:7b	4.37	4.07	1.00	0.6	5.67	entra, holgado
llama3.1:8b	4.92	4.58	1.00	0.6	6.18	entra; 16k al filo (7.18); 32k falla (9.18)
qwen3:8b	5.03	4.68	1.13	0.6	6.41	entra — vigila el presupuesto de razonamiento
gemma2:9b	5.76	5.37	2.63	0.6	8.59	falla 8k — solo 4k (7.28, al filo)

El ganador es aburrido a propósito: ollama pull qwen2.5:7b te da más contexto utilizable por GiB, y es la única fila que sigue entrando cuando duplicas el contexto a 32k (6.71 GiB). La fila del fracaso es el recibo que justifica el texto: gemma2:9b falla 8k por 1.29 GiB incluso sin presupuestar overhead alguno — 5.37 + 2.63 = 8.0 contra 7.3 utilizables. Ningún quant lo arregla; Q4_K_M ya es el pequeño.

¿Cuánta VRAM se come la caché KV?

Tesis: el contexto es el segundo modelo que cargas, y la arquitectura fija el precio — por token, gemma2:9b cobra seis veces lo que cobra qwen2.5:7b. La caché KV es la memoria de trabajo del modelo para la conversación: 2 bytes × capas × kv-heads × head-dim, en fp16, por token. La atención esbelta de Qwen2.5-7B, 28×4×128, cobra 56 KiB/token. La de Gemma-2-9B, 42×8×256, cobra 336 KiB/token. Esa tarifa por token — y no el tamaño del archivo — es lo que mata el contexto largo en una tarjeta chica.

modelo	KV a 4k	KV a 8k	KV a 16k	KV a 32k
qwen2.5:7b (56 KiB/tok)	0.22 GiB	0.44	0.88	1.75
mistral:7b / llama3.1:8b (128)	0.50	1.00	2.00	4.00
qwen3:8b (144)	0.56	1.13	2.25	4.50
gemma2:9b (336)	1.31	2.63	5.25	10.50

Una nota propia de 2026: qwen3 es un modelo que razona. Sus tokens de razonamiento son tokens de contexto — una respuesta corta que «pensó» durante 3,000 tokens paga esos 3,000 a 144 KiB cada uno hasta que el contexto se reinicia. En una tarjeta de 7.3 GiB, el presupuesto de razonamiento no es un ajuste decorativo; es la tabla de KV de arriba acumulando intereses.

La aritmética, línea por línea

Línea utilizable: 8 GiB − 0.4 (escritorio, compositor + pantalla) − 0.3 (contexto CUDA) ≈ 7.3 GiB; headless recupera ~0.3 más. Suelo de overhead 0.6 = contexto CUDA ~0.3 + buffer de cómputo ~0.3 a 8k; el rango honesto es de 0.4 a 1.2 GiB según backend y contexto — el veredicto de fracaso de gemma2 se sostiene en todo el rango, y por eso el suelo basta. Tasas de KV: llama3.1-8B 32L×8kv×128d; qwen2.5-7B 28×4×128; qwen3-8B 36×8×128; gemma2-9B 42×8×256; mistral-7B-v0.3 32×8×128 — todo ×2 bytes ×2 (K y V). Conversiones a GiB: bytes del archivo ÷ 2³⁰ (4,920,739,232 → 4.58; 4,683,074,240 → 4.36; 4,372,812,000 → 4.07; 5,027,784,224 → 4.68; 5,761,057,728 → 5.37). Nota honesta sobre gemma2: la mitad de sus capas son de ventana deslizante, así que el KV real de llama.cpp es menor que esta cifra conservadora de atención completa — el veredicto de fracaso no necesita el descuento para sostenerse. última prueba 2026-11-01.

Lo que esta tabla no puede decirte

Tesis: cada número de arriba es aritmética sobre tamaños públicos — y los dos números que la tabla aún adivina son el overhead y el MoE, justo donde vivirá la próxima medición. El suelo de overhead es un rango con uniforme; cualquier calculadora que imprime una sola cifra de overhead está adivinando, incluida nuestra propia pieza de la calculadora GGUF VRAM — su herida, la que se niega a la matemática de MoE, está documentada allí. Y la línea de ajuste se mueve con tu escritorio: arranca sin escritorio, recupera ~0.3 GiB, y gemma2:9b a 4k pasa de al filo a simplemente apretado. Lo que lo zanjaría: los mismos cinco modelos vía ollama en una tarjeta real de 8 GB, con los números de nvidia-smi impresos contra las predicciones de esta tabla. Ese banco no es este texto — la tarjeta de este escritorio no tiene por qué hacerse pasar por uno.

última prueba 2026-11-01 — tamaños tomados en vivo de la API de archivos de Hugging Face; la matemática del ajuste es una división, no una corazonada.