Jev decision models expliqués : une étiquette, un nombre, pas d'essai

Quand un pipeline doit trancher — quelle file, autoriser ou refuser, quelle étiquette — un Jev decision model répond en un seul passage avec une probabilité jointe. Six checkpoints sont arrivés en local à une semaine d'écart : cinq permissifs, un non-commercial. Utilisez-les pour décider, jamais pour expliquer — et éprouvez les chiffres avant de leur faire confiance.

Ligne d'honnêteté d'emblée : cette vague a quelques jours — j'ai lu le dossier, je ne l'ai pas exécuté. Sources : l'annonce Ollama, les notes 0.6.0 de llama.cpp, les fiches des checkpoints.

Le banc avec de vraies latences, c'est pour la suite.

MOTS POUR LA GALERIE

• decision model — une minuscule IA qui répond à une question par un choix et un chiffre de confiance, pas par une phrase
• probability — le chiffre de confiance : 0.87 signifie « 87 fois sur 100, je dirais la même chose »
• routing — envoyer chaque requête entrante vers la bonne file ou le bon agent, comme un facteur qui choisit sa camionnette
• calibration — dire si le chiffre de confiance dit vrai ; un 0.9 calibré a raison 9 fois sur 10
• GGUF — le format de fichier des modèles locaux ; le nom présent dans chaque liste de téléchargement

LES DEUX FORMES DE RÉPONSE

Les modèles de chat répondent à tout par de la prose — la mauvaise forme pour la moitié de ce dont les pipelines ont besoin. Un routeur veut quelle file ; un barreau veut autoriser ou refuser, avec quelle certitude.

Un classifieur veut une de six étiquettes.

Demandez une décision à un modèle de chat : une phrase qui veut dire la bonne chose — d'ordinaire — en des mots différents à chaque fois, plus une étape d'analyse qui échoue en silence.

L'un trie le courrier et écrit un essai par lettre. L'autre vous tend un casier : « sûr à 87 % — factures. » Auquel faites-vous confiance à 6 h du matin ?

LES PALIERS DU VERDICT

La fonction discrète : la probabilité est la réponse. 0.51 et 0.99 sont deux décisions différentes — placez la ligne là où agir bat la remontée, et le casier se trie seul.

a chat model that says "this is probably billing" hides its own calibration — one phrasing, once. a decision model hands you the number; whether it tells the truth on YOUR labels is not in the release notes. that is what the bench is for.

CE QUE LA VAGUE EST RÉELLEMENT

« Jev » est le contrat d'API : une question entre, une liste d'options figée, une probabilité par option. TypeSafe l'a défini ; les outils locaux l'ont adopté en une semaine.

Ollama a livré le 29 septembre — la v0.35 gagne /v1/systemone, Nimble et Tev1 téléchargeables dès le lancement.

llama.cpp a suivi dans la 0.6.0 (5 octobre) : le même endpoint, cinq GGUF ouverts — Julia-1, Laya, Kev-4B, lev, OpenJev — Nimble quelques jours plus tard.

Minuscule : de 144M à 27B paramètres ; les modèles de chat démarrent à 30 fois cela. Le petit est l'essentiel — une décision se prend en un passage, et l'instantanéité change quelles tâches posent la question.

Une seule comparaison publique d'exactitude existe — les 13 jeux de données de Bespoke Labs, 3 880 décisions étiquetées par des humains : Nimble 75.7%, Tev1-4B 73.3%, Tev1-0.8B 63.5%, Jev hébergé 1.13 à 76.0%.

Chiffres proches-vendeur — un point de départ. Le banc qui compte tourne sur VOS étiquettes.

imaginez : un modèle de chat est un consultant senior qu'on réserve à l'heure. un decision model est le tampon du comptoir d'accueil — il dit seulement quel casier, et il ne fatigue jamais. la taille, c'est le salaire : le 144M fait le travail pour trois sous ; vous ne payez le 27B que quand le travail doit regarder des images.

THE MODELS ON THE SHELF

L'étagère llama.cpp — les six checkpoints que son endpoint 0.6.0 sert. La bibliothèque Ollama porte son propre jeu : Nimble, Tev1, Laya, Clef.

Filtrez par licence : OpenJev est l'entrée NC. Un runtime MIT ne change pas ce que les poids autorisent.

Une septième forme, Clef, est arrivée dans la même release 0.6.0 (Apache-2.0, texte et vision) ; la ligne Clef de Cloudflare se nourrit aussi d'Ollama. Même idée, plus de portes.

L'échelle des tailles : 144M–421M sur un CPU inactif pour un routage propre ; 4B pour les étiquettes subtiles ; 27B ajoute des yeux. Lancez nvidia-smi --query-gpu=memory.total --format=csv,noheader — toute carte qualifie.

OÙ ÇA COLLE — ET OÙ ÇA COLLE PAS

Ça colle quand la sortie est une décision : routage de requêtes (ticket → billing / sales / abuse), barreaux (autoriser-ou-refuser, avec confiance), tri documentaire en volume.

Classifiez avec le petit modèle ; n'utilisez les tokens du grand modèle que sur ce qu'il signale.

Ça ne colle pas quand vous voulez des raisons. Une étiquette avec une probabilité n'a pas de raisons jointes. Besoin d'un « pourquoi » ? Retour au modèle de chat — ou aux documents.

Ça ne colle pas quand vous voulez la vérité par consensus. L'accord n'est pas la vérification — une réponse fausse unanime arrive dans la voix la plus confiante de toutes.

C'est l'échec que nos registres existent pour attraper.

vérifiez la forme chez vous : ollama run qwen3:0.6b "Reply YES or NO: is 7 prime?" — une réponse d'un seul token sans essai joint signifie que la forme fonctionne.

fin de la salle d'audience · rien de téléchargé · tout en local