AI-краулеры против поисковых краулеров: перепись ботов за 7 ночей

Неделя краулерского трафика на живом небольшом сайте (7 ночей по 2026-11-01 включительно): 8 654 запроса от ботов, и лишь 2 986 из них названы, всего 24 разных бота. Самое громкое околопоисковое семейство — уже AI: один PerplexityBot постучал 273 раза против 30 у OAI-SearchBot. Краулеры поисковиков вместе (Yandex 643, DuckDuckBot 137, Bingbot 91, Googlebot 14) дают 885 — их обошли краулеры SEO-инструментов со своими 1 274. 65,5% запросов вообще не называют бота.

Перепись краулеров — это список гостей, который никто не публикует.

Что такое AI-краулеры?

Утверждение: AI-краулер — это бот, который читает ваши страницы, чтобы модель могла цитировать, ссылаться на них или учиться по ним, — и представляется он так же, как любой бот с девяностых: строкой user-agent. Всю эту перепись держат четыре слова:

• Краулер — программа, которая запрашивает страницы, идёт по ссылкам и возвращается. Представьте курьера, который фотографирует каждую страницу вашего блокнота и подшивает копии.
• User-agent — имя, с которым краулер стучится. PerplexityBot/1.0 — бейдж с именем; пустая или общая строка — натянутый капюшон.
• robots.txt — табличка на двери со списком имён, которым можно войти. Каждый крупный AI-краулер её соблюдает — именно поэтому их и можно посчитать.
• Перепись — подсчёт тех, кто стучался на самом деле, а не тех, кому разрешили. Правила на бумаге против журнала в холле.

Различие, которое в 2026-м действительно важно, — цель, а не имя. Поисковые краулеры индексируют, чтобы человек мог найти вас потом. Краулеры AI-поиска запрашивают, чтобы модель сегодня ответила с вашей помощью. Краулеры AI-обучения запрашивают, чтобы будущая модель говорила вашим голосом. Три разные причины постучать, три разные пользы для вас.

AI-краулеры против поисковых краулеров

Утверждение: на этом сайте за эту неделю семейство AI уже стучится чаще каждого поисковика, кроме Yandex, — а громче всех стучат ни те ни другие: SEO-инструменты. Полная перепись, сортируемая, с операторами и целями:

Бот	Оператор	Цель	Стуки (7 дней)
MJ12bot	Majestic	seo	655
YandexBot	Yandex	search	643
SemrushBot	Semrush	seo	442
PerplexityBot	Perplexity	ai_search	273
AhrefsBot	Ahrefs	seo	177
Amazonbot	Amazon	ai_training	167
ClaudeBot	Anthropic	ai_training	151
DuckDuckBot	DuckDuckGo	search	137
DuckAssistBot	DuckDuckGo	ai_search	122
Bingbot	Microsoft	search	91
ChatGPT-User	OpenAI	ai_search, по запросу человека	32
OAI-SearchBot	OpenAI	ai_search	30
Googlebot	Google	search (именован с 1 нояб.)	14
Bytespider	ByteDance	ai_training	13
— без имени	—	—	5 668

Читать по семействам — и неделя говорит три вещи. Краулеры SEO-инструментов — Majestic, Semrush, Ahrefs — постучали 1 274 раза, больше, чем все поисковики вместе (885). Это боты, которые читают ваш сайт, чтобы продавать вам отчёты о позициях. Семейство AI — ai_search плюс ai_training — постучало 788 раз: Perplexity 273, Amazon 167, Anthropic 151, ассистент DuckDuckGo 122, пара от OpenAI 62, ByteDance 13. Один PerplexityBot обогнал OAI-SearchBot от OpenAI со счётом 273 к 30 — девять к одному.

А человеческий противовес, задающий переписи масштаб: 247 визитов людей за те же семь ночей. Тридцать пять стуков бота на каждого реального читателя. Сайт в основном читают машины, которые никогда не будут скроллить, никогда не уйдут с досады и ничего не купят, — а список гостей, который никто не печатает, на две трети анонимен.

Почему у двух третей стуков нет имени?

Утверждение: 65,5% стуков этой недели — 5 668 из 8 654 — вообще не несли имени бота, и это число — нижняя граница, а не потолок: распознавание имён ловит лишь то, что знает. Долю бот-трафика, которая сама себя называет, мы зовём «долей бейджей»; на этой неделе она составила 34,5%.

Капюшон носят три сорта гостей. Headless-браузеры под скраперами печатают имя браузера, а не имя компании. Свежие боты выходят в свет раньше, чем списки распознавания их выучат. А некоторые имена просто настолько редки, что общие правила — «всё, что совпадает с bot, spider, crawl» — считают их, не называя. Перепись может назвать лишь то, что есть в её списке.

Что изменилось на этой неделе в нашем собственном подсчёте

До этой недели несколько крупных краулеров — Googlebot, Bingbot, Applebot — в списке распознавания, которым пользуется этот сайт, совпадали только с общими правилами и падали в безымянную кучу, как все остальные. 2026-11-01 мы добавили их как именованные записи. Поэтому строка Googlebot выше читается как один день, а не семь, и поэтому оговорка напечатана прямо на графике — вместо того чтобы молча сравнивать семь ночей Perplexity с одной ночью Google.

Стоит ли блокировать AI-краулеров?

Утверждение: по цифрам биться за robots.txt стоит не с AI-краулерами — а с SEO-инструментами. Весь след семейства GPT здесь за неделю — 62 стука. Три краулера SEO-инструментов постучали 1 274 раза, а самый громкий гость из всех, MJ12bot с его 655, читает сайты, чтобы кормить базу знаний о ссылках. MJ12, кстати, — офис по уфологическим заговорам из «Секретных материалов»: кто-то назвал свой ссылочный краулер в честь секретного правительственного файла — возможно, это самый честный брендинг в SEO.

Семейство AI мы пропускаем — намеренно. Этот сайт построен, чтобы его цитировали: у каждой карточки-ответа есть стабильный якорь, чтобы модель сослалась ровно на то предложение, которым воспользовалась, а канал рефералов из AI вырос здесь на 50% за неделю — от маленькой базы, но в нужную нам сторону. Блокировка Perplexity экономит 273 запроса в неделю и отнимает у нас самого быстрорастущего читателя. А SemrushBot, проверяющий наши позиции 442 раза — по запросам, которые живые люди почти никогда не набирают, — куда труднее оправдать.

Когда стуков становится достаточно много, чтобы иметь значение, самой двери нужна арифметика. У нас есть и своё мнение на этот счёт — за ним стоит та же задача подсчёта, что и за rate limiter, съевшим наш тестовый набор.

Как провести собственную перепись краулеров

Утверждение: понадобятся только ваш access-лог и десять минут. Те же четыре шага работают на любом серверном логе, дашборде CDN или вкладке ботов в аналитике:

• Найдите сырой лог или вкладку ботов — туда, где запросы оседают вместе со своим user-agent.
• Посчитайте именованных AI-ботов одним grep.
• Посчитайте все запросы и вычислите долю бейджей.
• Повторяйте еженедельно — тренд и есть история, а не снимок.

# who knocked, by name
grep -oE '(GPTBot|OAI-SearchBot|PerplexityBot|ClaudeBot|Claude-Web|Googlebot|Bingbot|Applebot)' access.log \
  | sort | uniq -c | sort -rn

# the name-tag rate: bot-shaped requests vs everything
grep -cE '(bot|spider|crawl)' access.log
wc -l < access.log

verify: grep-команды прогнали по 10-строчному образцу лога 2026-11-01 — первая печатает по одному счётчику на имя, вторая выводит общий счёт запросов, похожих на ботов. Числа в самой переписи взяты из собственного бот-лога этого сайта, снятого в тот же день.

О чём будет следующая перепись

Утверждение: на этом сайте самая интересная строка — внизу семейства search. Именованный счёт Googlebot — 14, а рефералы Google в нашей статистике одиннадцать дней подряд держат ровный ноль: миграция переименовала несколько сотен URL, редиректы вели в двери, которых больше не было, и Google тихо перестал стучаться, пока заново учил план этажа. Починку закатили сегодня утром; восстановится ли список гостей — ровно это и покажет перепись следующей недели.

Мы продолжим держать дверь открытой, а список — публичным. Сайт, прячущий свою перепись, — это просто сайт в капюшоне.

окно переписи 2026-10-25 → 2026-11-01 · снято 2026-11-01 · проверено 2026-11-01