Le premier vol — faire tourner des modèles GGUF en local

■ space · le premier vol

THE PRE-FLIGHT

Cinq vérifications entre le téléchargement et un modèle qui sert. Cochez-les au fil de l'eau — la piste s'allume derrière vous.

THE FILE, AND ITS NAME

GGUF (GGML Universal File) est un conteneur pour modèles quantisés : poids, tokenizer, métadonnées — un fichier, pas de soupe de config.

Poids compressés de 16 bits à 4 bits : un 9B qui exige ~18 Go en pleine précision tient en ~5,5 Go en Q4 — GPU gaming ou même CPU.

l'org · le modèle de base · l'export · le tag de quant — deux choses comptent : la base (gemma-2-9b-it) et la force avec laquelle les poids ont été comprimés (Q4_K_M)

TWO WAYS TO FLY IT

Ollama — le service règle-et-oublie. Le GGUF est natif, et depuis 2024 il tire directement depuis Hugging Face. L'arbitrage, c'est le contrôle : vous ne choisissez pas le nombre de couches GPU.

# tirer un quant GGUF directement depuis Hugging Face et discuter
ollama run hf.co/bartowski/gemma-2-9b-it-GGUF:Q4_K_M

# or wrap a file you already have — Modelfile, one line:# ou envelopper un fichier que vous avez déjà — Modelfile, une ligne :# FROM ./gemma-2-9b-it-Q4_K_M.gguf
ollama create gemma9b -f Modelfile
ollama run gemma9b

llama.cpp — d'où vient le GGUF. Le support est le plus profond et le plus frais, et llama-server donne à la fois une UI de chat et un endpoint compatible OpenAI :

# télécharger directement depuis Hugging Face (choisit un GGUF assorti)
llama-server -hf ggml-org/gemma-3-4b-it-GGUF --port 8080

# or run a file you already have, with full GPU offload# ou faire tourner un fichier que vous avez déjà, avec offload GPU complet

The -ngl est le superpouvoir de llama.cpp — l'offload partiel. Essayez-le sur l'exemple du record, un 9B à 48 couches sur une carte de 6 Go :

Prompting en un coup : remplacez llama-server for llama-cli, même drapeau -m-m. LM Studio est le même moteur derrière une GUI — déposez un , cliquez charger.

WHICH QUANT IN THE TANK

Réponse par défaut : Q4_K_M — à un ou deux pourcents de la pleine précision pour environ un quart de la taille ; la qualité-par-Go culmine ici pour les modèles 7–14B.

L'échelle, du plus grand au plus petit :

• Q8_0 — quasi sans perte ; utilisez-le si votre VRAM avale 8,5 bits par poids sans s'en apercevoir.
• Q6_K / Q5_K_M — un cran en dessous en taille, toujours excellent pour les modèles 30B+.
• Q4_K_M — le défaut.
• IQ4_XS / Q3_K_M — faire tenir un gros modèle sur une petite carte ; la perte de qualité devient perceptible.
• Q2_K and below — dernier recours ; le modèle commence à dégénérer en galimatias en pleine phrase.

La règle d'encombrement : file size + ~1–2 GB of context overhead ≤ VRAM — un Q4_K_M de 4,7 Go d'un 9B est à l'aise sur une carte de 8 Go.

Le surcoût, c'est le cache KV : il grossit avec le contexte, pas avec la taille du modèle. Budgétisez votre plus longue session réelle.

Et préférez un modèle plus petit à un quant plus haut — un Q8 4B bat généralement un Q2 9B.

Coin format : safetensors is the unquantised archive — entraînement, fine-tuning, transformers, ComfyUI. GGUF est le quantisé, le qui-sert.

You can't fine-tune a GGUF, and you can't run safetensors in Ollama or llama.cpp without converting (convert_hf_to_gguf.py est le pont). Entraînement → safetensors ; chat local → GGUF.

THE FOUR ABORTS

Pourquoi mon modèle GGUF refuse-t-il de charger ? Ces quatre-là couvrent la plupart des cas :

Dernier angle : un endpoint GGUF local s'accorde à merveille avec les outils de codage agentiques — pointez-y un client compatible OpenAI ; les complétions ne coûtent que l'électricité.

Une fois la plomberie en place, la question est de savoir quel modèle mérite le créneau ; la pièce du compartiment moteur lit le dossier llama.cpp-versus-Ollama de bout en bout.

Un modèle, plusieurs utilisateurs ? Le mode GGUF de vLLM fonctionne — GPU seulement, passager de seconde classe à côté de ses formats natifs.

fin du premier vol · rien de récupéré · tout est local