Personne ne parle de la RAM : un modèle de 4.9 Go a réservé 7.0 Go avant de répondre

■ space · la visite des appartements

LA NUIT OÙ LE 4.9 EST DEVENU 7.0

La bécane : Ryzen, 32 Go de RAM, une RTX 3060 avec 12 Go de VRAM. Le modèle tiré : llama3.1:8b, étiqueté 4.9 Go. Trois commandes, un écran :

$ ollama ps
NAME            SIZE      PROCESSOR    CONTEXT
llama3.1:8b     7.0 GB    100% GPU     32,768
$ nvidia-smi
   …  7963 MiB / 12288 MiB  …
$ free -h
Mem:  31 Gi

la capture, retapée — les pixels sont restés sur la bécane de test ; les chiffres font foi

Un « modèle de 4.9 Go » a réservé 7.0 Go avant de répondre au premier prompt — une taxe de contexte de 43 % — et a gardé 7 963 sur 12 288 MiB pour lui tout seul.

Les poids n'ont jamais été le budget. Le contexte si.

La VRAM vend le rêve. La RAM décide si le modèle démarre du tout — et combien de contexte survit quand c'est le cas.

LE PLAN DE L'APPARTEMENT

Chaque modèle chargé loue deux appartements à la fois. Choisissez une classe de modèle, tournez le cadran du contexte, regardez les deux se remplir. Les trois lignes mesurées ci-dessous ancrent le cadran.

les pièces ne sont pas à l'échelle entre elles — chaque appartement est dessiné selon son propre bail

CE QUE SONT LES GIGAOCTETS EN PLUS

Les llama.cpp memory notes expliquent l'arithmétique que les pages de téléchargement omettent : mémoire totale = poids du modèle + cache KV + buffer de calcul. Seul le premier terme est constant.

Ollama emballe llama.cpp — même loi. ollama ps : 7.0 Go pour une étiquette de 4.9 Go et une fenêtre de 32 000 tokens, tout résident sur le GPU.

Relisez les deux dernières lignes. En VRAM, un 14B à contexte réel devient un travail d'offload coupé ; un 27B, impossible. Sur 32 Go de RAM, seulement lent.

Impossible contre lent — toute la différence pratique entre RAM et VRAM. L'offload roule sur le PCIe : la FAQ d'Ollama est directe — le débit chute durement quand la part GPU rétrécit.

Personne ne choisit ce compromis consciemment. Il se produit en silence, une couche à la fois — le symptôme, c'est juste « les modèles locaux semblent surcotés. »

C'est pourquoi l'échelle de quantification existe : le Q4 fait atterrir l'arithmétique dans le matériel que les gens possèdent. Deux configurations 8B « identiques », longueurs de contexte différentes, machines entièrement différentes.

Un modèle quantifié n'est pas un compromis. C'est l'aveu que la mémoire a toujours été le vrai budget.

LE REGISTRE HONNÊTE

Ce qui a cassé ou surpris pendant l'écriture de ce billet, dans l'ordre :

1. Le chiffre de 43 % lui-même. Je m'attendais à ce que le modèle 8B occupe « à peu près sa taille de fichier ». Il a réservé 7.0 Go contre un téléchargement de 4.9 Go. Si ça m'a surpris, ça surprend tous ceux qui lisent les fiches techniques au lieu de ps.
2. La séance de capture. Ma première capture d'écran a attrapé la mauvaise fenêtre ; la deuxième a marché, et c'est celle que le bloc de récépissé retape. Les récépissés sont un flux de travail, pas une ambiance — un cycle tirer → capturer → ollama rm garde le disque honnête.
3. Ce qui n'a pas cassé : le GPU n'a jamais débordé. 8B à contexte 32k sur 12 Go, c'est franchement confortable. La carte va bien. C'est le discours autour de la carte qui est mal calibré.

Les GPU comptent toujours — la ligne 100% GPU, c'est pourquoi la génération a semblé instantanée. Mais le GPU est la deuxième question. Le choix du runner vient après ce qui rentre.

LA RÈGLE DU POUCE QUI VAUT LE COUP

RAM = fichier du modèle + cache KV pour votre vraie fenêtre + 4 Go pour être un ordinateur. 7–8B Q4 : 16 Go, confortable. 14B–32B : 32 Go, c'est le seuil.

Achetez de la VRAM pour la vitesse que vous voulez au contexte que vous utilisez ; achetez de la RAM pour tout ce que vous chargerez un jour.

Regardez ollama ps une fois, et la religion des fiches techniques s'éteint en douce.

Deux questions pour votre prochaine machine de dev : de la VRAM pour les benchmarks que vous posterez, ou de la RAM pour les modèles que vous ferez tourner ? Et combien de tirages de 2 h du matin survécu au petit-déjeuner ? Les miens, non.

fin de la visite des appartements · rien de fetché · tout est local