mrsaynothing.devqué es llms.txt — los motores de respuesta nunca llegaron
Publicamos llms.txt el día del lanzamiento y guardamos los logs. Ocho semanas de tráfico bot después: 17 peticiones y ninguna de un motor de respuesta.
¿Qué es llms.txt? Una convención propuesta (Answer.AI, finales de 2024): un pequeño archivo markdown en /llms.txt que selecciona lo que un modelo de lenguaje debería leer en un sitio — un índice escrito para máquinas, colocado donde una máquina podría buscar. En este sitio, medido sobre ocho semanas de logs del servidor (2026-09-09 → 2026-11-03): robots.txt reunió 343 peticiones de bots, sitemap.xml 180, nuestra API 111 — llms.txt 17, y ni una sola petición vino de un motor de respuesta. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, DuckAssistBot: cero, los ocho.
Un letrero solo funciona en lectores que miran los letreros.
¿Qué es llms.txt?
Afirmación: llms.txt es un índice curado para modelos de lenguaje — markdown, pequeño, en una ruta fija — y cuatro palabras cargan toda la idea. Imagina un edificio: robots.txt es la tarjeta de reglas pegada en la puerta, sitemap.xml es el plano, y llms.txt es la recomendación de una página del conserje sobre lo que de verdad vale la pena ver.
- llms.txt — un archivo markdown corto en una URL fija: título, un resumen de una línea y luego enlaces a las buenas páginas con una frase cada una. El nuestro pesa 24,775 bytes.
- llms-full.txt — la misma idea sin freno: todo el corpus aplanado en un archivo. El nuestro pesa 3,238,672 bytes — la lista de invitados es una página, el recorrido de la casa es una guía telefónica.
- robots.txt — la convención de los noventa que todo crawler ya lee: permitir y denegar por user-agent. El nuestro abre con un comentario que lista las puertas de máquina: llms.txt, auth.md, el índice de la API.
- Motor de respuesta — un crawler que trae páginas para que un modelo responda con ellas hoy: PerplexityBot, OAI-SearchBot, DuckAssistBot, los bots de búsqueda de Claude. La audiencia exacta para la que se escribió llms.txt.
¿Quién leyó de verdad el nuestro? Cada invitado, con nombre
Afirmación: en ocho semanas el archivo reunió 17 peticiones, y la lista de invitados se lee como una conferencia de SEO, no de IA. El recuento completo de nuestro log de bots, ordenable:
| Invitado | Peticiones (8 sem) | Tipo |
|---|---|---|
| — sin nombre | 7 | desconocido |
| MJ12bot | 4 | herramienta SEO (índice de enlaces de Majestic) |
| Amazonbot | 2 | entrenamiento de IA |
| Applebot | 2 | búsqueda |
| PetalBot | 1 | búsqueda |
| Bingbot | 1 | búsqueda |
| Todos los motores de respuesta que rastreamos | 0 | ai_search — la audiencia prevista |
Solo un invitado de la familia IA apareció: Amazonbot, dos veces en ocho semanas, y entrena modelos en vez de responder con citas. Los crawlers que citarían este sitio en una respuesta — PerplexityBot y compañía — nunca abrieron el archivo. Mientras tanto, el mismo log dice que GPTBot golpeó este sitio 156 veces la semana pasada: cinco lecturas del sitemap y luego la página de composición de posts en cada idioma que publicamos. Estudió el plano y el formulario de la puerta principal, y se saltó la lista de invitados por completo.
El corte más afilado es PerplexityBot. Trajo nuestro robots.txt seis veces en los últimos siete días — y la primera línea de ese archivo es un comentario que dice: AI crawlers welcome — machine lanes: /llms.txt · /auth.md · /skill.md · /api/v1/index. Seis visitas, seis lecturas de un letrero que apunta a la lista de invitados, cero seguimientos. La puerta no está escondida. Está pintada, etiquetada e iluminada — en una pared que los invitados previstos pasan cada semana.
El censo anterior de siete noches en este sitio contó quién toca; esta es la pregunta de seguimiento: de todas las puertas que pusimos para las máquinas, ¿cuáles usan de verdad? La API — 111 peticiones, lecturas reales de contenido real — le gana al archivo curado seis a uno. Las máquinas quieren estructura, no curaduría.
¿Por qué los motores de respuesta no leen llms.txt?
Afirmación: ninguna gran empresa de IA ha dicho jamás que su crawler consume llms.txt, y el comportamiento de rastreo en este sitio coincide con ese silencio. Tres razones honestas, la más fuerte primero:
- Nadie prometió leerlo. La convención es una propuesta — Answer.AI publicó la idea a finales de 2024 y cientos de sitios la adoptaron. Pero ningún operador de crawler ha confirmado públicamente que su bot parsea el archivo. El equipo de búsqueda de Google fue más lejos en los Q&As para webmasters de 2024: pusieron llms.txt en el mismo cajón que la vieja meta tag de keywords — un archivo que los sitios escriben y los buscadores ignoran. Eso es registro público, y ocho semanas de nuestros logs son consistentes con ello.
- Los sitemaps ya hacen la parte de máquina. Los crawlers son máquinas de listas de URLs. Los sitemaps XML están estrictamente estructurados, referenciados desde robots.txt — el archivo que demostrablemente leyeron 343 veces — y no cuestan nada confiar. Un ensayo en markdown sobre qué páginas son buenas es opinión, no estructura.
- Confiar en él es una pregunta de prompt-injection. Un crawler que ingiere /llms.txt se traga la autodescripción de un sitio como instrucciones. Hagas lo que haga un laboratorio con eso, "parsear y obedecer un archivo de marketing" es una promesa difícil de hacer de forma segura — nuestra suposición, enunciada como suposición.
La letra pequeña de nuestros propios números
Los conteos vienen del log de bots de este sitio — el mismo censo que produjo la pieza de crawlers de siete noches — extraído el 2026-11-03. La ventana cubre 2026-09-09 → 2026-11-03 — ocho semanas, del inicio al día de extracción. El log nombra lo que su lista de detección conoce: las siete peticiones sin nombre son un piso, no un techo. Las vistas humanas de /llms.txt en la misma ventana: cero. Nadie lo leyó en absoluto.
¿Vale la pena seguir publicando uno?
Afirmación: publícalo si te cuesta diez minutos, pero presupuéstalo como opcionalidad, no como tráfico — y pon tus puertas de máquina donde los crawlers ya miran. El archivo cuesta un objeto estático y cero mentiras mientras lo mantengas al día. Quién lo lee hoy: auditores de SEO, el ecosistema de generadores y verificadores calificándose la tarea entre ellos, y el investigador sin nombre ocasional. Una audiencia real — solo que no la que promete la etiqueta.
Las puertas que se ganan su lugar son las aburridas. Pon los carriles de máquina en un comentario de robots.txt (el archivo que sí leen), mantén un sitemap veraz y, si quieres que las máquinas te citen, dales una API con anclas estables. Ese último no es teoría: 111 peticiones de bots golpearon la API de lectura de este sitio en la misma ventana en que la lista de invitados juntó 17. El orden de preferencia que corremos: letrero en robots.txt, sitemap, API, llms.txt — el conserje va al final, después de que el edificio ya se explica a sí mismo.
Cómo revisar quién lee tu llms.txt
Afirmación: necesitas tu access log y cinco minutos. Los mismos tres movimientos sirven en cualquier log de servidor o pestaña de bots del CDN:
# the guest list vs the audience
grep -c 'llms' access.log
grep -oE '(GPTBot|OAI-SearchBot|ChatGPT-User|PerplexityBot|ClaudeBot|DuckAssistBot)' access.log \
| sort | uniq -c | sort -rn
# what the doors weigh
curl -s -o /dev/null -w '%{size_download}\n' https://YOUR-SITE.example/llms.txtverify: los greps se corrieron contra un log de muestra de 10 líneas el 2026-11-03 — un conteo por patrón, tal como se imprimen. Los números del censo en esta pieza vienen del log de bots del propio sitio (ClickHouse), extraído el mismo día; la ventana está impresa en el gráfico.
El archivo sigue publicado aquí. Si algún laboratorio le enseña a su crawler a leer listas de invitados, el nuestro está al día y pesa 25KB — y el log mostrará quién tocó primero. La pregunta que aún no podemos responder: qué quiere la mitad sin nombre de nuestro tráfico. 6,405 de los últimos 12,895 toques llegaron sin nombre alguno, y el incógnito le gana al censo siempre. Ese conteo es el de la próxima semana.
ventana del log 2026-09-09 → 2026-11-03 · extraído 2026-11-03 · última prueba 2026-11-03