Niveles de cuantización GGUF, pesados en vivo: Q4_K_M vs Q8_0 en tamaño, VRAM y calidad

■ espacio · la prensa de bloques · fig 1

■ primero la respuesta

Q4_K_M por defecto — ~4,85 bits por peso, ~1 % de coste de perplexidad, ~30 % del tamaño a plena precisión.

Sube a Q6_K para código y matemáticas ; conserva Q8_0 para las corridas de referencia ; por debajo de Q4 es una ración de emergencia para los modelos grandes.

Toda la decisión es una línea: size_GB ≈ bits_per_weight × params / 8.

4.85bits por peso — el nivel por defecto

~1%coste de perplexidad en Q4_K_M

30%del tamaño a plena precisión

01LA PRENSA

una caja, cuatro sellos — la báscula responde tamaño, el medidor responde coste

FIG 1 · LA PRENSA DE BLOQUES GGUFteclas 1–5 — o los botones · la perilla ajusta los params

~1 % de perplexidad — EL defectoEl defecto. El mejor compromiso calidad-por-gigabyte que existe.

NIVEL Q4_K_M · 4,85 BPW · ESCALA 4.85 GB / FP16 16.0 GB · TAMAÑO 30% · PARÁMETROS 8B

la caja es el modelo: los mismos pesos en cada pasada — solo cambia el sello. Pulsa 5 y mira caer el medidor de coste

02TODA LA ESCALERA

la máquina lleva cuatro niveles — el registro distribuye ocho

nivel	bpw	calidad — el veredicto	cuándo usarlo
Q2_K la ración	~3.4	severo bajo 13B — una ración de emergenciala coherencia empieza a derrumbarse en los modelos pequeños	Nada más cabe — solo modelos grandes. Prueba antes de fiarte.
Q3_K_M el apretón	~3.9	notable — el apretón de VRAMpérdida notable — solo para VRAM justa en ≥14B	VRAM justa, solo modelos ≥14B.
Q4_K_S el respaldo	~4.6	pérdida pequeñapérdida pequeña — cuando Q4_K_M no cabe y queda cerca	El respaldo cuando Q4_K_M no cabe y la holgura es mínima.
IQ4_XS el i-quant	~4.3	≈ Q4_K_M — el apretón de codebookcalidad ≈ Q4_K_M, más pequeño — si tu backend ejecuta i-quants	Q4_K_M un poco grande, backend compatible con i-quants. Algo más lento en algunos backends.
Q4_K_M el defecto	~4.85	~1 % de perplexidad — EL defectomejor calidad-por-gigabyte — todos los registros lo distribuyen	El defecto. El mejor compromiso calidad-por-gigabyte que existe.
Q5_K_M el margen	~5.7	~0,5 % de perplexidadpérdida casi nula, aún cómodo	Margen con comodidad — la calidad importaba más que el último gigabyte.
Q6_K el caballo de batalla	~6.6	casi indistinguiblecasi indistinguible — el nivel de código y matemáticas	Código, matemáticas, extracción — todo lo que castiga el ruido.
Q8_0 la referencia	~8.5	en la práctica ninguno (~0,02 % vs plena)en la práctica ninguno (~0,02 %) — A/B y bases de fine-tune	Corridas de referencia, A/B, bases de fine-tune — no es un piloto diario.

la línea única—size_GB ≈ bits_per_weight × params / 8 — cada lectura de la prensa la calcula en vivo

ejemplo trabajado—8B en Q4_K_M: 4,85 × 8 / 8 = 4.85 GB ; FP16 sería 16.0 GB — la caja sale a 30% de la plena precisión

solo los pesos—añade el caché KV, las activaciones y los buffers: un modelo «4,9 GB» quiere una tarjeta de 6 GB a contexto 4k — flash-attention + cuantización del caché KV mantienen una ventana de 16k en esa tarjeta. Con la ventana completa de 128k, solo el caché pide ~16 GiB.

en el hub—prefiere un solo Q4_K_M.gguf a los splits fragmentados, salvo que solo se distribuyan estos últimos. ¿Destino vLLM en lugar de llama.cpp? Su plugin GGUF toma los mismos archivos — la regla solo-GPU se aplica. En cualquier caso, el motor es un eje aparte de la cuant.

03LO QUE EL SELLO QUITA

la caja se encoge — esto es lo que el sello hace realmente a los bits

entrenado en 16 bits—cada uno de los miles de millones de pesos de un modelo es un número de 2 bytes en coma flotante de 16 bits; la cuantización mete cada peso en menos bits

el camino ingenuo—redondear todo a un entero de 4 bits — destruye los valores pequeños pero importantes

escala por bloques—pesos agrupados en bloques de 32, cada bloque lleva su propio factor de escala, así que sobrevive un amplio rango de magnitudes

los k-quants, la K—superbloques de escalas sensibles a la importancia — capas de atención y feed-forward tratadas de forma distinta, porque no toleran la compresión por igual

la familia IQ—codebooks prestados de la compresión de imágenes — menos bits a calidad similar, algo más lento en algunos backends

intacto—arquitectura, tokenizer, gestión del contexto: la cuantización solo cambia los pesos almacenados

Un archivo Q4 y un archivo Q8 del mismo modelo son el mismo modelo, con abrigos distintos.

04EL ORDEN DE DECISIÓN

el mecanismo es honesto — entonces qué nivel para qué trabajo

Primero contexto + presupuesto KV, después los pesos. Un contexto que no cabe es peor que una calidad que no puedes medir — en contexto largo el caché puede pesar más que el modelo.
Por defecto, Q4_K_M. ~1 % de perplexidad por ~30 % del tamaño; el defecto de la comunidad, y por algo.
Sube a Q6_K cuando la tarea castiga el ruido — código, matemáticas, extracción, todo lo que corre sin supervisión.
Q8_0 solo para referencia — pruebas A/B, medición de daños, bases de fine-tune. Como piloto diario solo compra sensores de VRAM calientes.
Por debajo de Q4 solo bajo presión, y solo modelos grandes — y prueba con un prompt difícil conocido antes de fiarte.

¿más alto, mejor?—técnicamente sí; perceptiblemente apenas — Q8_0 aterriza a ~0,02 % de la plena precisión: lossless para cualquier propósito práctico; Q6_K es casi indistinguible

el redondeo ingenuo—Q4_0 cuesta algo más que los ~1–2 % de Q4_K_M

el tamaño compra margen—un 70B sobrevive a Q3 como ajuste fino de sastrería; un 7B en Q2 es una amputación — los modelos grandes son más redundantes

el suelo se mueve—el chat tolera Q4; código exacto, matemáticas y RAG sobre documentos precisos exponen el ruido antes — si un modelo Q4 escribe código sutilmente mal, prueba el mismo modelo en Q6_K antes de culpar al modelo

05MIDE LOS DAÑOS TÚ MISMO

los diales muestran los veredictos de llama.cpp — haz votar a tu propio hardware

compila llama.cpp una vez

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build && cmake --build build --config Release -j

baja dos niveles — perplexidad, luego velocidad

huggingface-cli download bartowski/Meta-Llama-3.1-8B-Instruct-GGUF \
  Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf Meta-Llama-3.1-8B-Instruct-Q8_0.gguf \
  --local-dir models
# perplexity (lower = closer to the original model)
./build/bin/llama-perplexity -m models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -ngl 99
./build/bin/llama-perplexity -m models/Meta-Llama-3.1-8B-Instruct-Q8_0.gguf  -ngl 99
# and speed on the same hardware
./build/bin/llama-bench -m models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -ngl 99

verify: el número de Q4_K_M aterriza unas centésimas de punto peor — y el archivo es ~40 % más pequeño. Mismos datos, cada nivel

La perplexidad es la sorpresa del siguiente token en un conjunto de datos fijo: un proxy, no una nota — y tu tarea real puede discrepar de ella.

el error antiguo—pelearse por Q4-contra-Q5 ignorando la longitud de contexto: presupuesta primero el caché KV; el nivel es la parte fácil

privacidad—la cuantización es aritmética sobre los pesos, enteramente sin conexión: una corrida Q4_K_M local filtra exactamente lo mismo que el modelo a plena precisión — nada sale de la máquina. La variable de privacidad es dónde corre la inferencia, no el ancho en bits

procedencia—corta igual en todos los niveles: un fine-tune «uncensored» de base robada en Q8 no es más sano que los mismos pesos en Q4

■ sello honesto Veredictos de calidad venidos de corridas de perplexidad, no de corazonadas. Probado en: llama.cpp llama-perplexity · llama-bench · GGUF Q2_K → Q8_0 · archivos de Hugging Face. Los números de la escalera son las mediciones propias de llama.cpp sobre los modelos de referencia de la familia Llama; el cálculo de tamaño es la línea única — cada lectura de la prensa de arriba es esa línea. Lanza los comandos y reemplaza mis números por los tuyos.

fin de la prensa de bloques · nada descargado · todo local