Crawlers IA vs crawlers de recherche : le recensement des sept nuits

Une semaine de trafic de crawlers sur un petit site en production (7 nuits s'achevant le 2026-11-01) : 8 654 frappes de bots, dont 2 986 seulement nommées, sur 24 bots distincts. La famille la plus bruyante côté recherche est déjà l'IA : PerplexityBot à elle seule a fait 273 frappes contre 30 pour OAI-SearchBot. Les crawlers des moteurs réunis (Yandex 643, DuckDuckBot 137, Bingbot 91, Googlebot 14) totalisent 885 — battus par les 1 274 des crawlers d'outils SEO. 65,5 % des frappes n'identifient aucun bot.

Frappes par bot nommé, 7 nuits, 2026-10-25 → 2026-11-01, notre propre recensement. Un caveat sur la fenêtre, assumé honnêtement : Googlebot ne porte son nom dans notre log qu'à partir du 2026-11-01 (avant, il tombait sous une règle générique), donc 14, c'est un jour, pas sept — son vrai compte sur 7 nuits dort quelque part dans la pile des sans-nom plus bas.

Un recensement des crawlers, c'est la liste des invités que personne ne publie.

Qu'est-ce qu'un crawler IA ?

Affirmation : un crawler IA est un bot qui lit tes pages pour qu'un modèle puisse les citer, s'y référer ou en apprendre — et il se présente comme tous les bots depuis les années quatre-vingt-dix : une chaîne user-agent. Quatre mots portent tout ce recensement :

Crawler — un programme qui va chercher des pages, suit les liens et revient. Imagine un coursier qui photographie chaque page de ton carnet et classe les copies.
User-agent — le nom que le crawler affiche quand il frappe. PerplexityBot/1.0, c'est un badge ; une chaîne vide ou générique, une cagoule.
robots.txt — le panneau sur la porte qui liste les noms autorisés à entrer. Tous les gros crawlers IA le respectent ; c'est exactement comme ça qu'on peut les compter.
Recensement — le compte de ceux qui ont réellement frappé, pas de ceux qui avaient le droit. Les règles sur le papier vs le registre du hall.

La distinction qui compte en 2026, c'est la finalité, pas le nom. Les crawlers de recherche indexent pour qu'un humain te trouve plus tard. Les crawlers de recherche IA vont chercher pour qu'un modèle réponde avec toi aujourd'hui. Les crawlers d'entraînement IA vont chercher pour qu'un modèle futur parle de ta voix. Trois raisons de frapper différentes, trois valeurs différentes pour toi.

Crawlers IA vs crawlers de recherche

Affirmation : sur ce site, pour cette semaine, la famille IA frappe déjà plus que tous les moteurs de recherche sauf Yandex — et les crawlers les plus bruyants ne sont ni l'un ni l'autre : ce sont les outils SEO. Le recensement complet, triable, avec opérateurs et finalités :

Bot	Opérateur	Finalité	Frappes (7 j)
MJ12bot	Majestic	seo	655
YandexBot	Yandex	search	643
SemrushBot	Semrush	seo	442
PerplexityBot	Perplexity	ai_search	273
AhrefsBot	Ahrefs	seo	177
Amazonbot	Amazon	ai_training	167
ClaudeBot	Anthropic	ai_training	151
DuckDuckBot	DuckDuckGo	search	137
DuckAssistBot	DuckDuckGo	ai_search	122
Bingbot	Microsoft	search	91
ChatGPT-User	OpenAI	ai_search, déclenché par un humain	32
OAI-SearchBot	OpenAI	ai_search	30
Googlebot	Google	search (nommé à partir du 1er nov.)	14
Bytespider	ByteDance	ai_training	13
— sans nom	—	—	5 668

Lis-le par famille et la semaine dit trois choses. Les crawlers d'outils SEO — Majestic, Semrush, Ahrefs — ont frappé 1 274 fois, plus que tous les moteurs de recherche réunis (885). Ce sont des bots qui lisent ton site pour te vendre des rapports de positionnement. La famille IA — ai_search plus ai_training — a frappé 788 fois : Perplexity 273, Amazon 167, Anthropic 151, l'assistant de DuckDuckGo 122, le duo d'OpenAI 62, ByteDance 13. PerplexityBot à elle seule a dépassé l'OAI-SearchBot d'OpenAI 273 contre 30 — neuf contre un.

Et le contrepoint humain qui donne son échelle au recensement : 247 visites humaines dans les mêmes sept nuits. Trente-cinq frappes de bot pour un lecteur réel. Le site est surtout lu par des machines qui ne scrolleront jamais, ne rebondiront jamais, n'achèteront jamais — et la liste des invités que personne n'imprime est anonyme aux deux tiers.

Pourquoi les deux tiers des frappes n'ont-elles pas de nom ?

Affirmation : 65,5 % des frappes de la semaine — 5 668 sur 8 654 — ne portaient aucun nom de bot, et ce chiffre est un plancher, pas un plafond, car la détection de noms n'attrape que ce qu'elle connaît. On appelle taux de badge la part du trafic de bots qui s'identifie ; cette semaine, il était de 34,5 %.

Trois sortes d'invités portent la cagoule. Les navigateurs headless qui pilotent des scrapeurs affichent le nom du navigateur, pas celui de l'entreprise. Des bots tout neufs se lancent avant que les listes de détection les apprennent. Et certains noms sont simplement assez rares pour que des règles génériques — « tout ce qui contient bot, spider, crawl » — les comptent sans les nommer. Le recensement ne peut nommer que ce que sa liste connaît.

Ce qui a changé cette semaine dans notre propre comptage

Jusqu'à cette semaine, plusieurs gros crawlers — Googlebot, Bingbot, Applebot — ne correspondaient qu'aux règles génériques de la liste de détection qu'utilise ce site, et atterrissaient donc dans la pile des sans-nom comme tout le monde. Le 2026-11-01, on les a ajoutés comme entrées nommées. C'est pourquoi la ligne de Googlebot ci-dessus lit un jour et pas sept, et pourquoi on imprime le caveat sur le graphique au lieu de comparer tranquillement sept nuits de Perplexity à une nuit de Google.

Faut-il bloquer les crawlers IA ?

Affirmation : sur les chiffres, ce ne sont pas les crawlers IA qui valent une guerre de robots.txt — ce sont les outils SEO. Toute l'empreinte de la famille GPT ici, pour la semaine, c'est 62 frappes. Les trois crawlers d'outils SEO ont frappé 1 274 fois, et l'invité le plus bruyant de tous, MJ12bot à 655, lit des sites pour nourrir une base de données de renseignement sur les liens. MJ12, au passage, c'est le bureau des complots OVNI de X-Files — quelqu'un a nommé son crawler d'indexation de liens d'après un dossier gouvernemental secret, ce qui est peut-être le branding le plus honnête du SEO.

On laisse entrer la famille IA, délibérément. Ce site est fait pour être cité : chaque carte-réponse porte une ancre stable pour qu'un modèle puisse citer exactement la phrase qu'il a utilisée, et le canal de référents IA a grimpé de 50 % en une semaine — sur une petite base, mais dans la direction qu'on veut. Bloquer Perplexity économise 273 visites par semaine et nous coûte le lecteur qui croît le plus vite. SemrushBot qui vérifie nos positions 442 fois — pour des requêtes que presque aucun humain ne tape — est un échange plus difficile à défendre.

Quand les frappes deviennent assez lourdes pour compter, la porte elle-même a besoin d'arithmétique. On a des opinions là-dessus aussi — c'est le même problème de comptage qui se cache derrière le limiteur de débit qui a dévoré notre suite de tests.

Comment mener ton propre recensement de crawlers

Affirmation : il ne te faut rien de plus que ton log d'accès et dix minutes. Les mêmes quatre étapes tournent sur n'importe quel log serveur, tableau de bord CDN ou onglet bots de ton outil d'analytics :

Trouve le log brut ou l'onglet bots — là où les requêtes atterrissent avec leur user-agent.
Compte les bots IA nommés avec un seul grep.
Compte le total des requêtes, calcule le taux de badge.
Répète chaque semaine — la tendance est l'histoire, pas l'instantané.

# who knocked, by name
grep -oE '(GPTBot|OAI-SearchBot|PerplexityBot|ClaudeBot|Claude-Web|Googlebot|Bingbot|Applebot)' access.log \
  | sort | uniq -c | sort -rn

# the name-tag rate: bot-shaped requests vs everything
grep -cE '(bot|spider|crawl)' access.log
wc -l < access.log

verify : les grep ont tourné sur un log d'exemple de 10 lignes le 2026-11-01 — la première commande affiche un compte par nom, la seconde le total « en forme de bot ». Les chiffres du recensement viennent du log de bots de ce site même, extrait le même jour.

Ce que dira le prochain recensement

Affirmation : sur ce site, la ligne intéressante est celle du bas de la famille search. Le compte nommé de Googlebot est 14, et les visites venues de Google sont à zéro rond depuis onze jours d'affilée sur nos stats — une migration a renommé quelques centaines d'URL, les redirections pointaient vers des portes qui n'existaient plus, et Google a discrètement arrêté de frapper le temps de réapprendre le plan. Le correctif est en place depuis ce matin ; si la liste des invités se rétablit, c'est exactement ce que montrera le recensement de la semaine prochaine.

On gardera la porte ouverte et la liste publique. Un site qui cache son recensement n'est qu'un site à cagoule.

fenêtre du recensement 2026-10-25 → 2026-11-01 · extrait 2026-11-01 · dernier test 2026-11-01