mrsaynothing.dev
Three Boxes — l'histoire d'un seul modèle en trois boîtes
Un guide de terrain en cinq planches : le même Qwen3-0.6B se pèse de trois manières, s'ouvre pour montrer ses premiers octets, oublie exprès en 4-bit, et choisit son étagère — portez une caisse jusqu'au bout et la page se souvient de la vôtre dans le verdict.
■ space · un guide de terrain en cinq planches
GGUF est une boîte autodescriptive qui fait de la quantization la valeur par défaut — fichiers petits, l'étagère llama.cpp. safetensors est une table des matières scotchée aux poids bruts — pleine précision par défaut, l'étagère Python. Le runtime que vous faites déjà tourner choisit votre boîte ; le disque choisit votre taille. La vitesse est une propriété des runtimes et du matériel — les octets refusent de témoigner.
01LA PESÉE
Les mêmes poids dans chaque boîte. Classez-les mentalement par taille avant que les barres ne se remplissent — puis regardez.
L'écart n'est pas du gâchis. La boîte 4-bit a oublié exprès — chaque poids stocké au quart des bits, assez proche pour la plupart des travaux, pour un tiers du disque. Gardez cette pensée ; la planche trois aura son propre chapitre. Pour l'instant — prenez une boîte :
TENU : GGUF · Q4_K_M — 397 Mo — le favori du disque
02DANS LA CAISSE
Chaque format est une mise en page. Voici chaque boîte, allongée bout à bout — basculez entre elles et lisez comme le fait un runtime.
segments hors échelle — dans les deux fichiers les poids écrasent la paperasse · mises en page tirées des specs publiques des formats
03L'OUBLI
Le secret du gringalet : chaque poids stocké à une fraction des bits. Faites glisser la largeur et regardez la précision s'en aller — les octets suivent.
À 2-bit, le monde claque sur 0, 1, −1 — un modèle qui connaît trois choses. À 16, il se souvient de chaque décimale dont il est né. Entre les deux se niche votre budget disque. Ce que les octets ne peuvent pas dire, c'est ce que la qualité a perdu au passage — ce mur reste debout, et chaque table honnête le marque.
04LES DEUX ÉTAGÈRES
Le format ne décide rien, hormis ceci : quelle étagère s'ouvre. Dites ce qui répond sur votre machine — la salle répondra en retour.
L'ÉTAGÈRE LLAMA.CPP
les boîtes GGUF s'ouvrent ici
Fichiers uniques quantifiés, petits disques, aucun Python à l'horizon — l'étagère électroménagère.
L'ÉTAGÈRE PYTHON
safetensors s'ouvre ici
from_pretrained est la voie native — tenseurs bruts, aucune étape de conversion à entretenir.
VOTRE ROUTE : Ollama → l'étagère llama.cpp → les caisses GGUF
le garde-fou que le record admet : vLLM lit le GGUF via son plugin — GPU, avec réserves — et Ollama, l'électroménager du GGUF, livre toujours un runner MLX. même les étagères échangent.
05LE VERDICT
GGUF fait de la quantization la valeur par défaut ; safetensors fait de la pleine précision la valeur par défaut. Ce défaut par défaut est l'essentiel de la décision — personne n'a jamais changé de format pour la vitesse. On a changé de runtime pour une fonction, et le format est venu comme le ticket. — le seul verdict que permettent les octets
curl -sIL … | grep -i content-length de votre propre terminal. Aucun banc d'essai. Aucun cosplay de tokens par seconde.
fin de la cour · rien de téléchargé · tout en local