Crawlers de IA vs crawlers de búsqueda: el censo de siete noches

Una semana de tráfico de crawlers en un sitio pequeño en producción (7 noches que terminan el 2026-11-01): 8 654 toques de bots, solo 2 986 con nombre, entre 24 bots distintos. La familia más ruidosa del lado búsqueda ya es IA: PerplexityBot por sí sola hizo 273 toques frente a los 30 de OAI-SearchBot. Los crawlers de los motores juntos (Yandex 643, DuckDuckBot 137, Bingbot 91, Googlebot 14) suman 885 — superados por los 1 274 de los crawlers de herramientas SEO. El 65,5 % de los toques no identifica ningún bot.

Un censo de crawlers es la lista de invitados que nadie publica.

¿Qué son los crawlers de IA?

Afirmación: un crawler de IA es un bot que lee tus páginas para que un modelo pueda citarlas, referenciarlas o aprender de ellas — y se presenta igual que todos los bots desde los noventa: una cadena user-agent. Cuatro palabras cargan todo este censo:

• Crawler — un programa que descarga páginas, sigue enlaces y vuelve. Imagina un mensajero que fotografía cada página de tu cuaderno y archiva las copias.
• User-agent — el nombre que el crawler muestra al tocar. PerplexityBot/1.0 es una etiqueta con nombre; una cadena vacía o genérica es una capucha bajada.
• robots.txt — el cartel en la puerta que enumera qué nombres pueden entrar. Todos los grandes crawlers de IA lo respetan; y así es exactamente como puedes contarlos.
• Censo — el conteo de quién tocó de verdad, no de quién tenía permiso. Las reglas en el papel vs el registro del vestíbulo.

La distinción que importa en 2026 es el propósito, no el nombre. Los crawlers de búsqueda indexan para que un humano te encuentre después. Los crawlers de búsqueda con IA descargan para que un modelo responda contigo hoy. Los crawlers de entrenamiento de IA descargan para que un modelo futuro hable con tu voz. Tres razones distintas para tocar, tres valores distintos para ti.

Crawlers de IA vs crawlers de búsqueda

Afirmación: en este sitio, en esta semana, la familia IA ya supera en toques a todos los motores de búsqueda excepto Yandex — y los crawlers más ruidosos de todos no son ninguno de los dos: son las herramientas SEO. El censo completo, ordenable, con operadores y propósitos:

Bot	Operador	Propósito	Toques (7 d)
MJ12bot	Majestic	seo	655
YandexBot	Yandex	search	643
SemrushBot	Semrush	seo	442
PerplexityBot	Perplexity	ai_search	273
AhrefsBot	Ahrefs	seo	177
Amazonbot	Amazon	ai_training	167
ClaudeBot	Anthropic	ai_training	151
DuckDuckBot	DuckDuckGo	search	137
DuckAssistBot	DuckDuckGo	ai_search	122
Bingbot	Microsoft	search	91
ChatGPT-User	OpenAI	ai_search, activado por un humano	32
OAI-SearchBot	OpenAI	ai_search	30
Googlebot	Google	search (con nombre desde el 1 de nov.)	14
Bytespider	ByteDance	ai_training	13
— sin nombre	—	—	5 668

Léelo por familia y la semana dice tres cosas. Los crawlers de herramientas SEO — Majestic, Semrush, Ahrefs — tocaron 1 274 veces, más que todos los motores de búsqueda juntos (885). Son bots que leen tu sitio para venderte informes de posicionamiento. La familia IA — ai_search más ai_training — tocó 788 veces: Perplexity 273, Amazon 167, Anthropic 151, el asistente de DuckDuckGo 122, la pareja de OpenAI 62, ByteDance 13. PerplexityBot por sí sola superó al OAI-SearchBot de OpenAI 273 frente a 30 — nueve a uno.

Y el contrapunto humano que le da escala al censo: 247 visitas humanas en las mismas siete noches. Treinta y cinco toques de bot por cada lector real. El sitio lo leen sobre todo máquinas que nunca harán scroll, nunca rebotarán, nunca comprarán — y la lista de invitados que nadie imprime es dos tercios anónima.

¿Por qué dos tercios de los toques no tienen nombre?

Afirmación: el 65,5 % de los toques de esta semana — 5 668 de 8 654 — no llevaba ningún nombre de bot, y esa cifra es un suelo, no un techo, porque la detección de nombres solo atrapa lo que conoce. Llamamos tasa de etiqueta a la parte del tráfico de bots que se identifica; esta semana fue del 34,5 %.

Tres tipos de invitado llevan la capucha. Los navegadores headless que mueven scrapers muestran el nombre del navegador, no el de la empresa. Bots recién lanzados aparecen antes de que las listas de detección los aprendan. Y algunos nombres son simplemente tan raros que reglas genéricas — «cualquier cosa que contenga bot, spider, crawl» — los cuentan sin nombrarlos. El censo solo puede nombrar lo que su lista conoce.

Qué cambió esta semana en nuestro propio conteo

Hasta esta semana, varios crawlers grandes — Googlebot, Bingbot, Applebot — solo coincidían con reglas genéricas en la lista de detección que usa este sitio, así que caían al montón de sin-nombre como todos los demás. El 2026-11-01 los añadimos como entradas con nombre. Por eso la fila de Googlebot de arriba lee un día y no siete, y por eso imprimimos el aviso en el gráfico en lugar de comparar en silencio siete noches de Perplexity contra una noche de Google.

¿Deberías bloquear los crawlers de IA?

Afirmación: por los números, los crawlers de IA no son los que valen una pelea de robots.txt — las herramientas SEO sí. Toda la huella de la familia GPT aquí en la semana fue de 62 toques. Los tres crawlers de herramientas SEO tocaron 1 274 veces, y el invitado más ruidoso de todos, MJ12bot con 655, lee sitios para alimentar una base de datos de inteligencia de enlaces. MJ12, por cierto, es la oficina de conspiraciones OVNI de Expediente X — alguien nombró su crawler de indexación de enlaces como un expediente gubernamental secreto, que quizá sea el branding más honesto del SEO.

Dejamos pasar a la familia IA, a propósito. Este sitio está hecho para ser citado: cada tarjeta de respuesta lleva un ancla estable para que un modelo pueda citar exactamente la frase que usó, y el canal de referidos de IA creció un 50 % semana tras semana — desde una base pequeña, pero en la dirección que queremos. Bloquear Perplexity ahorra 273 descargas por semana y nos cuesta al lector que más rápido crece. SemrushBot revisando nuestro posicionamiento 442 veces — para consultas que casi ningún humano escribe — es un trato más difícil de defender.

Cuando los toques se vuelven lo bastante pesados para importar, la propia puerta necesita aritmética. Sobre eso también tenemos opiniones — es el mismo problema de conteo detrás del limitador de ritmo que se comió nuestra suite de tests.

Cómo hacer tu propio censo de crawlers

Afirmación: no necesitas nada más que tu log de acceso y diez minutos. Los mismos cuatro pasos funcionan en cualquier log de servidor, panel de CDN o pestaña de bots de tu analytics:

• Encuentra el log crudo o la pestaña de bots — allí donde aterrizan las peticiones con su user-agent.
• Cuenta los bots de IA con nombre con un solo grep.
• Cuenta las peticiones totales y calcula la tasa de etiqueta.
• Repite cada semana — la tendencia es la historia, no la foto.

# who knocked, by name
grep -oE '(GPTBot|OAI-SearchBot|PerplexityBot|ClaudeBot|Claude-Web|Googlebot|Bingbot|Applebot)' access.log \
  | sort | uniq -c | sort -rn

# the name-tag rate: bot-shaped requests vs everything
grep -cE '(bot|spider|crawl)' access.log
wc -l < access.log

verify: los grep se corrieron sobre un log de ejemplo de 10 líneas el 2026-11-01 — el primer comando imprime un conteo por nombre, el segundo el total con forma de bot. Los números del censo vienen del propio log de bots de este sitio, extraído el mismo día.

Qué dirá el próximo censo

Afirmación: en este sitio la fila interesante es la última de la familia search. El conteo con nombre de Googlebot es 14, y las visitas desde Google llevan once días seguidos en cero plano en nuestras stats — una migración renombró unos cientos de URLs, las redirecciones apuntaban a puertas que ya no existían, y Google dejó de tocar en silencio mientras reaprendía el plano. La corrección subió esta mañana; si la lista de invitados se recupera es exactamente lo que mostrará el censo de la próxima semana.

Mantendremos la puerta abierta y la lista pública. Un sitio que esconde su censo no es más que un sitio con capucha.

ventana del censo 2026-10-25 → 2026-11-01 · extraído 2026-11-01 · último test 2026-11-01