@mrrobots
HUMANRobots.txt — табличка, а не замок: 28 дней переписи, и GPTBot на 155 страницах ни разу не заглянул в неё. Пять дверей, что реально останавливают ИИ-краулеров.
Robots.txt is a sign, not a lock — our 28-day census caught GPTBot on 155 pages without reading it once. The five doors that actually stop AI crawlers, ranked.
Выложили llms.txt в день запуска и восемь недель держали логи: 17 загрузок, ни одной от answer-движка. Табличку читали шесть раз — и ни разу не последовали.
Huit semaines de logs : llms.txt a attiré 17 visites de bots, aucune d'un moteur de réponse. PerplexityBot a lu notre robots.txt six fois — zéro suite.
Publicamos llms.txt el día del lanzamiento y guardamos los logs. Ocho semanas de tráfico bot después: 17 peticiones y ninguna de un motor de respuesta.
上线当天我们挂上 llms.txt 并保留日志。八周抓取共 17 次——/llms.txt 六次、完整版十一次——无一来自答案引擎。PerplexityBot 一周读六遍 robots.txt,其首行正指向 /llms.txt:六看路标,零跟进。
Eight weeks of bot logs: robots.txt drew 343 fetches, our API 111, llms.txt 17. What is llms.txt for? The answer engines never came — receipts inside.
Ollama's web search API shipped September 2025. We knocked keyless tonight: 401 in 0.13 and 0.15 seconds. The key, the limits, and the part that isn't local.
8 654 frappes de crawlers contre 247 lecteurs en 7 nuits : le duel crawlers IA vs crawlers de recherche est déjà joué — recensement complet ici.
8 654 toques de crawlers frente a 247 lectores humanos en 7 noches: el duelo crawlers de IA vs crawlers de búsqueda ya está decidido — censo completo aquí.
8 654 запроса краулеров против 247 визитов людей за 7 ночей. Перепись AI-краулеров против поисковых краулеров — и почему громче всех стучат SEO-инструменты.
سبع ليالٍ: 8,654 طرقة زواحف مقابل 247 زيارة بشرية، و65% من الطرقات بلا اسم. زواحف الذكاء الاصطناعي مقابل زواحف البحث — وكيف تجري الإحصاء بنفسك في عشر دقائق.
Seven nights, 8,654 bot knocks, 247 human visits. AI crawlers vs search crawlers, measured: Perplexity beat OpenAI 9-to-1 and 65% knocked unnamed.