AI 爬虫对比搜索爬虫：一周爬虫普查实录

一个小型真实站点上一周的爬虫流量（截至 2026-11-01 的 7 夜）：8,654 次机器人请求，其中只有 2,986 次报了名字，共 24 种不同的 bot。最响的搜索系家族已经是 AI：仅 PerplexityBot 一家就敲了 273 次，OAI-SearchBot 只有 30 次。搜索引擎的爬虫加在一起（Yandex 643、DuckDuckBot 137、Bingbot 91、Googlebot 14）共 885 次——被 SEO 工具爬虫的 1,274 次反超。65.5% 的请求完全不报身份。

各具名 bot 的敲门次数：7 夜，2026-10-25 → 2026-11-01，本站自己的普查。如实标注一个窗口期问题：Googlebot 的名字自 2026-11-01 起才进入我们的日志（在此之前匹配的是一条通用规则），所以 14 是一天的数据，不是七天——它真实的 7 夜计数就藏在下面那堆无名请求里。

爬虫普查是一份没人发布的客人名单。

什么是 AI 爬虫？

论点：AI 爬虫是一种 bot，读取你的页面，好让模型引用、援引或从中学习——而它的自报方式和九十年代以来的每个 bot 一样：user-agent 字符串。撑起整场普查的是四个词：

爬虫——抓取页面、顺着链接走、还会再回来的程序。想象一个快递员，把你笔记本的每一页都拍照归档。
User-agent——爬虫敲门时报出的名字。PerplexityBot/1.0 是一枚姓名牌；空字符串或泛化字符串是一顶拉低的兜帽。
robots.txt——门上那张告示，写明哪些名字可以进。每个大型 AI 爬虫都遵守它——这正是你能把它们数出来的原因。
普查——数的是真正敲过门的，不是被允许进门的。纸面规则对上前台的登记簿。

2026 年真正要紧的区分是用途，不是名字。搜索爬虫做索引，是为了让人之后能找到你。AI 搜索爬虫来抓取，是为了让模型今天回答时引用你。AI 训练爬虫来抓取，是为了让未来的模型用你的声音说话。三种敲门理由，三种对你而言的价值。

AI 爬虫对比搜索爬虫

论点：在本站，这一周里 AI 家族的敲门已经超过除 Yandex 之外的每个搜索引擎——而全场最响的爬虫两边都不是：它们是 SEO 工具。完整普查如下，可排序，含运营方与用途：

Bot	运营方	用途	敲门次数（7 天）
MJ12bot	Majestic	seo	655
YandexBot	Yandex	search	643
SemrushBot	Semrush	seo	442
PerplexityBot	Perplexity	ai_search	273
AhrefsBot	Ahrefs	seo	177
Amazonbot	Amazon	ai_training	167
ClaudeBot	Anthropic	ai_training	151
DuckDuckBot	DuckDuckGo	search	137
DuckAssistBot	DuckDuckGo	ai_search	122
Bingbot	Microsoft	search	91
ChatGPT-User	OpenAI	ai_search，人工触发	32
OAI-SearchBot	OpenAI	ai_search	30
Googlebot	Google	search（自 11 月 1 日起具名）	14
Bytespider	ByteDance	ai_training	13
——未报名字	—	—	5,668

按家族来读，这一周说了三件事。SEO 工具的爬虫——Majestic、Semrush、Ahrefs——敲了 1,274 次，超过所有搜索引擎的总和（885）。这些 bot 读你的站点，是为了向你卖排名报告。AI 家族——ai_search 加 ai_training——敲了 788 次：Perplexity 273，Amazon 167，Anthropic 151，DuckDuckGo 的助手 122，OpenAI 两家合计 62，ByteDance 13。仅 PerplexityBot 一个就以 273 对 30 压过 OpenAI 的 OAI-SearchBot——九比一。

而给普查定下标尺的人类对照项：同样的七夜里，人类访问只有 247 次。每个真实读者要摊上 35 次机器人敲门。这个站点主要被永远不会滚动、永远不会跳出、永远不会掏钱的机器阅读——而那份没人打印的客人名单，三分之二匿名。

为什么三分之二的敲门没有名字？

论点：本周 65.5% 的敲门——8,654 次里的 5,668 次——完全没带 bot 名字，而且这个数字是下限不是上限，因为名字识别只能认出它认识的东西。我们把 bot 流量里自报家门的那部分占比称为名牌率；本周是 34.5%。

戴兜帽的客人有三种。驱动抓取脚本的无头浏览器报的是浏览器的名字，不是公司的名字。新出的 bot 上线比检测名单认识它们更早。还有些名字实在太罕见，通用规则——「凡匹配 bot、spider、crawl」——只计数，不点名。普查只能叫出名单里认识的名字。

本周我们自己的计数改了什么

在本周之前，几个大型爬虫——Googlebot、Bingbot、Applebot——在本站使用的检测名单里只匹配通用规则，于是和其他请求一样落进无名堆。2026-11-01 我们把它们加成了具名条目。这就是上面 Googlebot 那一行只算一天、不算七天的原因，也是我们把注意事项直接印在柱状图上、而不是悄悄拿七夜的 Perplexity 比一夜的 Google 的原因。

该不该屏蔽 AI 爬虫？

论点：看数字，不值得为 robots.txt 开战的是 AI 爬虫——是 SEO 工具。整个 GPT 家族在本站一周的足迹只有 62 次敲门。三个 SEO 工具爬虫敲了 1,274 次，而全场最响的客人 MJ12bot（655 次）读站点，是为了喂养一个链接情报数据库。MJ12，顺带一提，是《X 档案》里那个研究 UFO 阴谋的办公室——有人给自己的链接索引爬虫起了个绝密政府档案的名字，这大概是 SEO 圈里最诚实的品牌行为。

AI 家族是我们有意放行的。这个站点生来为了被引用：每张答案卡都带稳定锚点，模型能精确引用它用过的那句话；而且本站的 AI 引荐渠道一周增长 50%——基数虽小，方向正是我们想要的。屏蔽 Perplexity，一周省下 273 次抓取，代价是失去增长最快的读者。而 SemrushBot 一周核查我们的排名 442 次——用的还是人类几乎从不输入的查询——这笔交易就难辩护得多。

当敲门声重到值得在乎，门本身就需要算术。对此我们也有自己的看法——吃掉我们测试套件的那个 rate limiter，背后就是同一道数数题。

如何给自己的站点做一次爬虫普查

论点：你只需要自己的访问日志和十分钟。同样的四步，在任何服务器日志、CDN 面板或分析工具的 bot 标签页上都成立：

找到原始日志或 bot 标签页——请求连同 user-agent 落地的地方。
用一条 grep 数出具名的 AI bot。
数出总请求数，算出名牌率。
每周重复——趋势才是故事，快照不是。

# who knocked, by name
grep -oE '(GPTBot|OAI-SearchBot|PerplexityBot|ClaudeBot|Claude-Web|Googlebot|Bingbot|Applebot)' access.log \
  | sort | uniq -c | sort -rn

# the name-tag rate: bot-shaped requests vs everything
grep -cE '(bot|spider|crawl)' access.log
wc -l < access.log

verify：这些 grep 命令于 2026-11-01 对一份 10 行的样例日志验证过——第一条命令按名字各打出一个计数，第二条打出形如 bot 的请求总数。普查本身的数字来自本站自己的 bot 日志，同日提取。

下一次普查会说什么

论点：在本站，最值得看的一行在 search 家族的底部。Googlebot 的具名计数是 14，而在我们的统计里，Google 引荐已经连续十一天纹丝不动地停在零——一次迁移改了几百个 URL，重定向指向的却是已经不存在的门，Google 在重新摸清户型图期间悄悄停止了敲门。修复今早已经上线；客人名单能不能恢复，正是下周普查要回答的问题。

我们会继续开着门、公开名单。藏起自己普查的站点，不过是一个戴着兜帽的站点。

普查窗口 2026-10-25 → 2026-11-01 · 提取于 2026-11-01 · 最后验证 2026-11-01