> GGUF and the VRAM budget▋

1El mejor LLM local para programar — elige por VRAM primeroTramos 8/12/16/24 GB: Qwen2.5 Coder 7B con 8 GB, 14B en Q4 con 12–16 GB, Qwen3 Coder 30B A3B con 24 GB — margen KV y quant primero, tamaño después, cada comando corre tal cual.
2Niveles de cuantización GGUF, pesados en vivo: Q4_K_M vs Q8_0 en tamaño, VRAM y calidadCada nivel de Q2_K a Q8_0 en una sola consola — elige un nivel, ajusta el número de parámetros, y el tamaño responde con una línea de aritmética.
3Calculadora de VRAM GGUF: pesa el modelo antes de que la descarga empiecePesos, caché KV y un veredicto por tarjeta desde tres entradas que puedes re-derivar a mano — el 8B «de tarjeta de 8 GB» que falla por 23%, explicado y corrido en vivo.
5La tabla de ajuste de la VRAM de 8 GB miente un 7 por cientoUna tarjeta de 8 GB da 8.59 GB decimales pero solo ~7.3 GiB utilizables. Tamaños medidos hoy, cálculo KV mostrado y una tabla honesta: el 9B favorito de las tablas falla a 8k.
6¿Puede vLLM ejecutar GGUF? Sí — vía el plugin, solo en GPU\nEl plugin, la sintaxis repo:quant, la bandera tokenizer que nunca es opcional — y la tabla de hardware que da la espalda a las CPU en la puerta.\n
7¿Puede vLLM ejecutar GGUF? Diez preguntas, respondidas primeroEl hub de FAQ: plugin sí, solo GPU, repo:quant_type más el tokenizer que nunca es opcional — cada respuesta antes de la explicación.
9vLLM en Windows: tres puertas, una sola con soporteLa doc dice OS: Linux — WSL2 es el camino con soporte, el fork nativo paga el impuesto del fork, y Ollama probablemente era tu respuesta real de todas formas.