как остановить ии-краулеров — перепись послушных

Коротко, по степени реальной остановки: правило файрвола останавливает всё; 410 убирает страницы из индексов; x-robots-tag и meta noindex держат страницы вне индексов, но дают краулеру читать; robots.txt вежливо просит. Большинство гайдов продают вам вежливую просьбу и называют её блокировкой. Наши собственные логи говорят об обратном.

Каждое число ниже — собственная перепись краулеров этого сайта: 28 дней логов визитов, 2026-10-07 → 2026-11-04, измерено, а не оценено. последняя проверка 2026-11-04.

Что ИИ-краулеры на самом деле забирают?

Глубокие страницы, в основном, — и это их выдаёт. Это не индексаторы, сканирующие sitemap; они ведут себя как читатели, пришедшие уже заинтересованными. GPTBot потратил 72% визитов на статьи в глубине сайта. Googlebot, для сравнения, углублялся в 38% визитов.

Краулер	Хиты, 28 дн.	Ушёл вглубь	Спрашивал robots.txt
Bingbot	1,495	64%	7
PerplexityBot	570	61%	7
PetalBot	492	52%	2
Amazonbot	480	55%	0
ClaudeBot	377	43%	42
Googlebot	348	38%	10
GPTBot	155	72%	0

ИИ-краулеры забрали примерно 40% всего поименованного краулерного трафика на этом сайте за текущую неделю — 1,521 хит ИИ-семейства против 2,298 у классических поисковых ботов. Когда мы прогоняли первую, семиночную версию этой переписи (наш материал ai crawlers vs search crawlers от 1 ноября), доля ИИ уже росла; четыре недели спустя она ни разу не откатилась назад. Мёртвые URL блога, оставшиеся от старой раскладки сайта, собрали 7,158 визитов краулеров за то же окно — краулеры ещё долго ходят по старым картам после того, как территория изменилась.

Останавливает ли robots.txt ИИ-краулеров?

Он останавливает тех, кто согласен быть остановленным. Собственная документация OpenAI говорит, что GPTBot подчиняется robots.txt, и Anthropic говорит то же о ClaudeBot — оба заявления в открытом доступе, и мы принимаем их на слово. Но послушание требует знать, что написано на табличке, и тут наши логи становятся неуютными. За 28 дней мы записали 42 запроса robots.txt от ClaudeBot — больше, чем у всех остальных краулеров вместе взятых, — и ноль запросов от GPTBot за 155 визитов на страницы. Amazonbot: 480 хитов страниц, ноль запросов.

# the polite ask — User-agent: line per AI family
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Amazonbot
Disallow: /

verify: curl -s https://yoursite.example/robots.txt | grep -A1 GPTBot — один Disallow: / на каждое семейство, которое вы не пускаете · проверено 2026-11-04

Честное прочтение «нуля запросов»: краулеры агрессивно кэшируют robots.txt — бот может днями держать вчерашнюю табличку в памяти или забирать её с инфраструктуры, которую мы никогда не увидим. Сказать прямо мы можем только то, что происходило у этой двери: один посетитель прочёл табличку 42 раза, второй — ни разу, насколько видно. За месяц GPTBot прошёл через 155 комнат, ни разу не заглянув на ресепшен. Либо он запомнил план этажа в прошлый визит, либо табличка — украшение. Наши логи не различают эти случаи — и именно эта неоднозначность причина, по которой табличка не должна быть вашим единственным замком.

Как не дать ИИ-краулерам попасть в индекс?

Доступ и индексация — разные двери, и robots.txt только притворяется, что управляет второй. Запрещённая страница может годами висеть в индексе как URL без сниппета. Самим индексом управляют три двери:

• Meta noindex — стикер. <meta name="robots" content="noindex"> в head страницы. Работает для HTML-страниц; невидим для всего, что страницу не парсит.
• X-Robots-Tag — штамп. Та же инструкция HTTP-заголовком, поэтому попадает на PDF, картинки и всё остальное, что забирает краулер. Когда мы выдавали 410 кладбищу из 204 мёртвых URL на этом сайте, каждый из них заодно отдаёт x-robots-tag: noindex — ремень и подтяжки.
• 410 Gone — уведомление о выселении. Сказать индексу «этого больше нет навсегда» — и URL обработают и выкинут быстрее, чем 404, который индексы читают как «может быть». Пинг тех же URL через IndexNow в тот же день ускоряет переобход.

verify: curl -sI https://mrsaynothing.dev/en/space/queue | grep -i x-robots
x-robots-tag: noindex, follow

наши тонкие страницы носят штамп в заголовке, а не в теле — проверено 2026-11-03, в день выхода пинов

Одно предупреждение, которое стоит людям реального трафика: noindex и robots.txt disallow гасят друг друга. Запретите страницу — и краулер «послушается», никогда не прочитав стикер: URL продолжает висеть в индексе без сниппета, худшее из обоих миров. Если страница должна покинуть индекс, впустите краулера прочитать noindex — или ставьте 410 начисто.

Как на самом деле заблокировать ИИ-краулеров?

На границе, по user-agent — правило файрвола, правило WAF или управляемый тумблер хостинга (Cloudflare с 2024 года отдаёт блокировку ИИ-ботов в один клик). Это единственная дверь, которая не зависит от манер посетителя: запрос отвергается до того, как ваши страницы вообще прочитаны. Назовите семейства, которые хотите не пускать, — GPTBot, ClaudeBot, Amazonbot, PerplexityBot, PetalBot, Bytespider — и отвергайте паттерн.

• Решите по каждому семейству: ботов с цитированием и атрибуцией — впустить, молчаливых тренеров — наружу; тотальный блок заодно выметает вас из движков ответов, которые возвращают читателей
• robots.txt: один блок User-agent на каждое отвергнутое семейство (вежливая просьба — для ботов, которые читают)
• noindex или x-robots-tag на всё, что не должно висеть в индексе, — и никогда на страницу, которую вы одновременно запрещаете
• 410 для URL, которых действительно больше нет, и пинг их через IndexNow в тот же день
• правило WAF или файрвола на user-agent, которые вы отвергаете, — дверь, не полагающаяся на табличку
• Пересчитайте через семь дней: ваши собственные логи — единственная оценка, которая имеет значение

Что обещает документация каждого вендора

• OpenAI — документация GPTBot утверждает, что он следует robots.txt; ChatGPT-User — сборщик для живого пользователя, тоже задокументирован как соблюдающий его.
• Anthropic — документация ClaudeBot утверждает, что он соблюдает robots.txt.
• Perplexity — документация PerplexityBot заявляет поддержку robots.txt; их краулинг в 2024 году попал под прессу — что само по себе аргумент за логи вместо обещаний.
• Google — Google-Extended управляет использованием вашего контента Gemini и задокументирован отдельно от Search; Google также публично говорил, что не использует llms.txt. Наши логи согласны: 28 дней, ноль обращений Googlebot к файлу.