L'addition de la réflexion

Lancez ollama run <model> --think=false (CLI), tapez /set nothink (dans une session), ou envoyez "think": false dans le corps de /api/chat ou /api/generate. N'utilisez --hidethinking que si vous voulez garder la réflexion mais la cacher — le compteur, lui, tourne toujours. Laissez tomber /no_think dans les prompts : ça réduit, ça ne coupe pas.

01Demandez-le vous-même — la facture, imprimée

C'est le run réel loggé, rejoué. Deux demandes d'un mot de notre bench : « Bug » a coûté 866 tokens de réflexion et 53.5 secondes à froid. « Crash » a coûté 589 tokens et 34.4 secondes à chaud. Puis la même demande, réflexion coupée. Regardez le compteur.

composite d'un run réel loggé — lfm3:1.7b, 2026-10-29 · la ligne « réflexion coupée » est une division, pas un run mesuré, et le dit

L'intérêt du ×1 : à 17 tokens par seconde, vous pouvez lire la réflexion pendant qu'elle vous facture. C'est ce que fait chaque chat qui « semble lent » sur une machine CPU — il imprime une facture que vous n'avez jamais demandé à voir, un token toutes les 59 millisecondes.

02Pourquoi mon modèle Ollama réfléchit-il si longtemps ?

Parce que les derniers petits modèles sont des penseurs hybrides : les mêmes poids font le chat et la chaîne de pensée, et la plupart des front-ends laissent la réflexion activée par défaut. Chaque « hmm, laissez-moi revoir » que vous voyez défiler est un vrai token facturé à votre vrai débit en tokens par seconde — et sur une machine CPU, c'est 17/s, pas les centaines qu'une GPU se permet. Le calcul n'a rien de glamour : 866 tokens de réflexion ÷ 17 tok/s ≈ 51 secondes de facturation avant que la réponse commence.

03Comment désactiver la réflexion dans Ollama ?

Trois interrupteurs, tous officialisés dans la doc d'ollama elle-même. Choisissez l'altitude où vous êtes :

• Ponctuel, depuis le shell : ollama run lfm3:1.7b --think=false
• Dans une session en cours : tapez /set nothink (pour réactiver : /set think)
• En code, API chat ou generate : ajoutez "think": false au corps de la requête

$ ollama run lfm3:1.7b --think=false
>>> bug or not? one word.
Crash

vérifiez : aucun bloc de réflexion dans la sortie ; la réponse arrive en une poignée de tokens — d'après notre arithmétique de bench, environ une seconde de frappe au lieu de cinquante.

POST /api/chat
{ "model": "lfm3:1.7b",
  "messages": [{"role":"user","content":"bug or not? one word."}],
  "think": false }

vérifiez : la réponse ne porte aucun champ thinking — avec "think": true, le même endpoint sépare le monologue de la réponse dans son propre champ.

Et le piège qui ressemble à un interrupteur sans en être un : --hidethinking. Le modèle continue de réfléchir — plein tarif — et on ne vous imprime simplement pas le détail. Cacher le reçu, ce n'est pas ne pas payer.

04Combien coûte réellement la réflexion ? Le reçu.

Lignes brutes du log du bench — les champs renommés -ms portent des nanosecondes (les unités du log elles-mêmes mentent ; on a divisé à la main), et les champs de débit sont revenus null, donc le tokens-par-seconde est notre propre division longue : 866 ÷ 50.9 ≈ 17.

{"model":"lfm3:1.7b","load_ms":2326837325,"eval_count":866,"total_ms":53533988331,"response":"Bug"}
{"model":"lfm3:1.7b","load_ms":530219,"eval_count":589,"total_ms":34362526621,"response":"Crash"}

* ligne d'honnêteté : on a mesuré le côté réflexion ; la colonne « réflexion coupée » est une division au même tok/s, étiquetée comme arithmétique — la loi des reçus couvre la moitié mesurée, cette phrase couvre le reste.

« Bug » est le mot le plus cher que notre machine ait jamais produit. Il a coûté cinquante secondes de réflexion à décider.

05Quand faut-il laisser la réflexion activée ?

Quand la réponse vaut plus que l'attente — c'est tout le contrat. L'addition achète quelque chose de réel sur :

• Maths et logique multi-étapes — le monologue est le travail ; le couper, c'est couper la précision que vous êtes venu chercher.
• Revue de code et planification — le modèle a besoin de son brouillon ; --hidethinking est légitimement bon ici, puisque vous payez de toute façon.
• Tout ce où 50 secondes bat le faux — du triage lancé chaque nuit, pas en interactif.

Coupez-la quand la demande a une forme de classification : réponses d'un mot, routage, consultations, extraction, « est-ce que cette ligne de log contient une défaillance ». Payer 866 tokens pour départager deux mots, c'est louer une chambre vide — la chambre est agréable, mais vous n'y êtes pas.

06Le compromis honnête

Voilà ce qui reste non résolu. Couper la réflexion rend le modèle plus rapide et plus bête précisément sur les tâches pour lesquelles vous l'avez acheté — et la garder activée transforme chaque demande anodine en cinquante secondes d'attente. Le vrai réglage de l'IA locale, ce n'est pas la taille du modèle ; c'est qui tient le compteur. Le cloud cache cette addition dans un abonnement ; sur votre machine, vous voyez chaque token s'imprimer.

Ce que je veux vraiment et n'ai pas encore : une ligne de Modelfile qui épingle think par modèle, pour que « Bug » coûte une seconde sans que chaque client ait à se souvenir du flag. La demande est ouverte dans les issues d'Ollama. D'ici là, le compteur est à vous de regarder — ou à vous de basculer.

Fin en deux questions, selon la loi de la maison : 1) Quelle est la plus grosse facture de réflexion que vous ayez attrapée sur votre propre machine ? 2) L'avez-vous déjà surpris à facturer une question qui n'avait pas besoin de réflexion ?