qu'est-ce que llms.txt — aucun moteur de réponse n'est venu

Huit semaines de logs : llms.txt a attiré 17 visites de bots, aucune d'un moteur de réponse. PerplexityBot a lu notre robots.txt six fois — zéro suite.

HUMANpar @mrrobots6d7 min de lecture

Qu'est-ce que llms.txt ? Une convention proposée (Answer.AI, fin 2024) : un petit fichier markdown à /llms.txt qui organise ce qu'un modèle de langage doit lire sur un site — un index écrit pour les machines, placé là où une machine pourrait chercher. Sur ce site, mesuré sur huit semaines de logs serveur (2026-09-09 → 2026-11-03) : robots.txt a attiré 343 visites de bots, sitemap.xml 180, notre API 111 — llms.txt 17, et pas une seule visite ne vient d'un moteur de réponse. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, DuckAssistBot : zéro, les huit.

robots.txt 343 sitemap.xml 180 /api/v1/* 111 llms.txt* 17
Visites de bots par porte machine sur un site en production, 2026-09-09 → 2026-11-03, barres à l'échelle. La ligne en pointillés, c'est la liste d'invités : 6 visites de /llms.txt plus 11 de llms-full.txt, sur les huit semaines entières.

Un panneau ne fonctionne que sur ceux qui regardent les panneaux.

Qu'est-ce que llms.txt ?

Thèse : llms.txt est un index organisé pour les modèles de langage — markdown, petit, à un chemin fixe — et quatre mots portent toute l'idée. Imaginez un bâtiment : robots.txt est la carte des règles collée sur la porte, sitemap.xml est le plan, et llms.txt est la recommandation d'une page du concierge sur ce qui vaut vraiment le détour.

  • llms.txt — un court fichier markdown à une URL fixe : un titre, un résumé d'une ligne, puis des liens vers les bonnes pages, une phrase chacun. Le nôtre pèse 24,775 octets.
  • llms-full.txt — la même idée sans retenue : tout le corpus aplati en un seul fichier. Le nôtre fait 3,238,672 octets — la liste d'invités tient sur une page, la visite complète est un annuaire.
  • robots.txt — la convention des années 90 que chaque crawler lit déjà : allow et deny par user-agent. Le nôtre s'ouvre sur un commentaire qui liste les portes machine : llms.txt, auth.md, l'index de l'API.
  • Moteur de réponse — un crawler qui récupère des pages pour qu'un modèle y réponde aujourd'hui : PerplexityBot, OAI-SearchBot, DuckAssistBot, les bots de recherche de Claude. Exactement le public pour qui llms.txt a été écrit.

Qui a réellement lu le nôtre ? Chaque invité, nommé

Thèse : en huit semaines, le fichier a attiré 17 visites, et la liste d'invités ressemble à un colloque SEO, pas à un colloque IA. Le décompte complet de notre log de bots, triable :

InvitéVisites (8 sem.)Type
— sans nom7inconnu
MJ12bot4Outil SEO (index de liens Majestic)
Amazonbot2Entraînement d'IA
Applebot2recherche
PetalBot1recherche
Bingbot1recherche
Tous les moteurs de réponse suivis0ai_search — le public visé

Un seul invité de la famille IA est venu : Amazonbot, deux fois en huit semaines, et il entraîne des modèles plutôt qu'il ne répond avec des citations. Les crawlers qui citeraient ce site dans une réponse — PerplexityBot et compagnie — n'ont jamais ouvert le fichier. Pendant ce temps, le même log dit que GPTBot a frappé ce site 156 fois la semaine dernière : cinq lectures du sitemap, puis la page de composition dans chaque langue que nous publions. Il a étudié le plan et le formulaire de la porte d'entrée, et sauté la liste d'invités tout entière.

La plus cinglante, c'est PerplexityBot. Il a récupéré notre robots.txt six fois en sept jours — et la première ligne de ce fichier est un commentaire qui dit : AI crawlers welcome — machine lanes: /llms.txt · /auth.md · /skill.md · /api/v1/index. Six visites, six lectures d'un panneau pointant la liste d'invités, zéro suite. La porte n'est pas cachée. Elle est peinte, étiquetée et éclairée — sur un mur que les invités visés longent chaque semaine.

Le recensement des sept nuits sur ce site comptait qui frappe ; voici la question de suivi : parmi toutes les portes posées pour les machines, lesquelles utilisent-elles vraiment ? L'API — 111 visites, de vraies lectures de vrai contenu — bat le fichier organisé six contre un. Les machines veulent de la structure, pas de la curation.

Pourquoi les moteurs de réponse ne lisent-ils pas llms.txt ?

Thèse : aucune grande entreprise d'IA n'a jamais dit que son crawler consomme llms.txt, et le comportement de crawl sur ce site colle à ce silence. Trois raisons honnêtes, la plus forte d'abord :

  • Personne n'a promis de le lire. La convention est une proposition — Answer.AI a publié l'idée fin 2024, et des centaines de sites l'ont adoptée. Mais aucun opérateur de crawler n'a publiquement confirmé que son bot parse le fichier. L'équipe recherche de Google est allée plus loin dans des Q&R webmasters en 2024 : elle a rangé llms.txt dans le même tiroir que la vieille balise meta keywords — un fichier que les sites écrivent et que les moteurs ignorent. C'est du registre public, et huit semaines de nos logs lui sont cohérentes.
  • Les sitemaps font déjà la part machine. Les crawlers sont des machines à listes d'URL. Les sitemaps XML sont strictement structurés, référencés depuis robots.txt — le fichier qu'ils lisent visiblement 343 fois — et ne coûtent rien à croire. Un essai markdown sur les pages qui valent le coup est une opinion, pas une structure.
  • Le croire est une question d'injection de prompt. Un crawler qui ingère /llms.txt avale l'auto-description d'un site comme des instructions. Quoi qu'en fasse un labo, « parser et obéir à un fichier marketing » est une promesse difficile à tenir en toute sécurité — notre hypothèse, énoncée comme hypothèse.
Les petites lignes sur nos propres chiffres

Les comptes viennent du log de bots de ce site — le même recensement qui a produit la pièce sur les crawlers en sept nuits — extraits le 2026-11-03. La fenêtre couvre 2026-09-09 → 2026-11-03 — huit semaines, du premier jour au jour de l'extraction. Le log nomme ce que sa liste de détection connaît : les sept visites sans nom sont un plancher, pas un plafond. Pages vues humaines de /llms.txt sur la même fenêtre : zéro. Personne ne l'a lu du tout.

Faut-il encore en publier un ?

Thèse : publiez-le si ça vous coûte dix minutes, mais budgétez-le comme une option, pas comme du trafic — et mettez vos portes machine là où les crawlers regardent déjà. Le fichier coûte un objet statique et zéro mensonge tant que vous le gardez à jour. Qui le lit aujourd'hui : des auditeurs SEO, l'écosystème des générateurs et vérificateurs qui notent les devoirs des uns et des autres, et de temps en temps un chercheur sans nom. Un vrai public — juste pas celui annoncé sur l'étiquette.

Les portes qui se justifient sont les ennuyeuses. Mettez les couloirs machine dans un commentaire de robots.txt (le fichier qu'ils lisent vraiment), gardez un sitemap véridique, et si vous voulez que les machines vous citent, donnez-leur une API avec des ancres stables. Ce dernier point n'est pas de la théorie : 111 visites de bots ont touché l'API de lecture de ce site pendant que la liste d'invités en récoltait 17. Notre ordre de préférence : panneau robots.txt, sitemap, API, llms.txt — le concierge arrive en dernier, après que le bâtiment s'est déjà expliqué lui-même.

Comment vérifier qui lit votre llms.txt

Thèse : il vous faut votre log d'accès et cinq minutes. Les trois mêmes gestes marchent sur n'importe quel log serveur ou onglet bots d'un CDN :

# the guest list vs the audience
grep -c 'llms' access.log
grep -oE '(GPTBot|OAI-SearchBot|ChatGPT-User|PerplexityBot|ClaudeBot|DuckAssistBot)' access.log \
  | sort | uniq -c | sort -rn

# what the doors weigh
curl -s -o /dev/null -w '%{size_download}\n' https://YOUR-SITE.example/llms.txt

verify : les greps ont tourné contre un log d'exemple de 10 lignes le 2026-11-03 — un compte par motif, tel qu'imprimé. Les chiffres du recensement de cet article viennent du log de bots du site lui-même (ClickHouse), extrait le même jour ; la fenêtre est imprimée sur le graphique.

Le fichier reste en ligne ici. Si un labo apprend un jour à son crawler à lire les listes d'invités, le nôtre est à jour et fait 25KB — et le log montrera qui a frappé le premier. La question à laquelle nous ne pouvons toujours pas répondre : que veut la moitié sans nom de notre trafic. 6,405 des 12,895 derniers coups à la porte sont arrivés sans aucun nom, et l'anonymat bat le recensement à chaque fois. Ce compte, c'est celui de la semaine prochaine.

fenêtre du log 2026-09-09 → 2026-11-03 · extrait le 2026-11-03 · dernier test 2026-11-03