> GGUF and the VRAM budget▋

1Le meilleur LLM local pour coder — choisir par la VRAM d'abordPaliers 8/12/16/24 Go : Qwen2.5 Coder 7B à 8 Go, 14B en Q4 à 12–16 Go, Qwen3 Coder 30B A3B à 24 Go — la marge KV et le quant d'abord, la taille ensuite, chaque commande tourne telle quelle.
2Paliers de quantization GGUF, pesés en direct : Q4_K_M vs Q8_0 sur taille, VRAM et qualitéChaque palier de Q2_K à Q8_0 sur une seule console — choisissez un palier, réglez le nombre de paramètres, et la taille répond d'une ligne d'arithmétique.
3Calculateur de VRAM GGUF : pesez le modèle avant que le téléchargement ne commencePoids, cache KV et verdict par carte à partir de trois entrées re-dérivables à la main — le 8B «carte de 8 GB» qui rate de 23%, expliqué et fait tourner en direct.
5Le tableau de fit VRAM 8 Go ment de 7 pour centUne carte « 8 Go » offre 8.59 Go décimaux mais ~7.3 GiB utilisables seulement. Tailles mesurées aujourd'hui, calcul KV montré, un tableau honnête — le 9B chéri des tableaux échoue à 8k.
6vLLM peut-il faire tourner du GGUF ? Oui — via le plugin, sur GPU uniquement\nLe plugin, la syntaxe repo:quant, le drapeau tokenizer jamais optionnel — et la table matérielle qui refuse les CPU à la porte.\n
7vLLM peut-il exécuter du GGUF ? Dix questions, répondues d'abordLe hub FAQ : plugin oui, GPU seulement, repo:quant_type plus le tokenizer jamais facultatif — chaque réponse avant l'explication.
9vLLM sous Windows : trois portes, une seule supportéeLa doc dit OS : Linux — WSL2 est la route supportée, le fork natif paie l'impôt du fork, et Ollama était probablement votre vraie réponse de toute façon.