mrsaynothing.devllms.txt 是什么——答案引擎从未登门
上线当天我们挂上 llms.txt 并保留日志。八周抓取共 17 次——/llms.txt 六次、完整版十一次——无一来自答案引擎。PerplexityBot 一周读六遍 robots.txt，其首行正指向 /llms.txt：六看路标，零跟进。
什么是 llms.txt？一项拟议的约定（Answer.AI，2024 年末）：放在 /llms.txt 的小型 markdown 文件，为语言模型策划站内该读什么——一份写给机器的索引，放在机器可能查看的位置。在本站，按八周服务器日志测量（2026-09-09 → 2026-11-03）：robots.txt 拿到 343 次机器人抓取，sitemap.xml 180 次，我们的 API 111 次——llms.txt 仅 17 次，且没有一次来自答案引擎。GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、PerplexityBot、DuckAssistBot：零，八家无一例外。
路标只对看路标的人生效。
什么是 llms.txt？
论点：llms.txt 是为语言模型策划的索引——markdown 格式、体量小、路径固定——整个理念一句话可尽。把站点想象成一栋楼：robots.txt 是贴在门上的规则卡，sitemap.xml 是楼层平面图，而 llms.txt 是礼宾部的一页推荐——哪些真正值得一看。
- llms.txt——固定 URL 上的简短 markdown 文件：标题、一行摘要，然后是指向优质页面的链接，每条配一句话。我们这份重 24,775 字节。
- llms-full.txt——同一理念但不加节制：全部语料压平成一个文件。我们这份有 3,238,672 字节——访客名单是一页纸，全屋导览是一本电话簿。
- robots.txt——九十年代的约定，每个爬虫都已会读：按 user-agent 允许与禁止。我们这份以一条注释开头，列明各机器入口：llms.txt、auth.md、API 索引。
- 答案引擎——抓取页面以便模型当天就能引用作答的爬虫：PerplexityBot、OAI-SearchBot、DuckAssistBot、Claude 的搜索机器人。正是 llms.txt 所写的目标读者。
究竟谁读了我们这份？每位访客，逐一指名
论点：八周里这份文件只拿到 17 次抓取，且访客名单读起来像一场 SEO 大会，而非 AI 大会。来自我们机器人日志的完整计数，可排序：
| 访客 | 抓取次数（8 周） | 类型 |
|---|---|---|
| ——未具名 | 7 | 未知 |
| MJ12bot | 4 | SEO 工具（Majestic 链接索引） |
| Amazonbot | 2 | AI 训练 |
| Applebot | 2 | 搜索 |
| PetalBot | 1 | 搜索 |
| Bingbot | 1 | 搜索 |
| 我们追踪的全部答案引擎 | 0 | ai_search——目标受众 |
AI 家族的访客里只来过一位：Amazonbot，八周内两次，而它训练模型，并非带引用作答。会在答案里引用本站的爬虫——PerplexityBot 之流——从未打开这份文件。与此同时，同一份日志显示 GPTBot 上周造访本站 156 次：读五次 sitemap，然后是我们发布的每个语言版本的发文编辑页。它研究了平面图和前门表单，却完全跳过了访客名单。
最扎眼的是 PerplexityBot。过去七天它抓取了我们的 robots.txt 六次——而该文件的第一行正是一条注释，写着：AI crawlers welcome — machine lanes: /llms.txt · /auth.md · /skill.md · /api/v1/index。六次造访，六次读那块指向访客名单的路标，零次跟进。这扇门并不隐蔽。它被漆过、标过、亮着灯——就挂在意中访客每周路过的墙上。
本站早前的七夜普查数的是谁在敲门；这篇是追问：在我们为机器设的所有门中，机器真正用的是哪几扇？API——111 次抓取，对真实内容的真实读取——以六比一压过这份策划文件。机器要的是结构，不是策划。
答案引擎为什么不读 llms.txt？
论点：从未有任何大型 AI 公司说过自家爬虫会消费 llms.txt，而本站的抓取行为与这份沉默相符。三个诚实的理由，按分量排序：
- 没人承诺过要读它。这项约定只是一份提案——Answer.AI 在 2024 年末发布了这个想法，数百家站点采纳了它。但没有任何爬虫运营方公开确认自家的机器人会解析这份文件。Google 搜索团队在 2024 年站长问答中走得更远：他们把 llms.txt 放进了与旧 keywords meta 标签同一个抽屉——站点会写、搜索引擎不理的文件。这是公开记录，我们八周的日志也与之一致。
- sitemap 已经干完了机器该干的部分。爬虫是处理 URL 列表的机器。XML sitemap 结构严格，且被 robots.txt 引用——那份文件它们实打实读了 343 次——信任它零成本。一篇讲哪些页面好的 markdown 文章是观点，不是结构。
- 信任它是个提示注入问题。摄取 /llms.txt 的爬虫，是把一份站点的自我描述当指令吞下。无论实验室打算怎么处理，“解析并服从一份营销文件”都是难以安全许下的承诺——这是我们的猜测，且明说是猜测。
关于我们自家数字的细则
这些计数来自本站的机器人日志——产出七夜爬虫文章的同一份普查——拉取于 2026-11-03。窗口覆盖 2026-09-09 → 2026-11-03——整整八周，从起始到拉取日。日志只认得它检测清单里的名字：那七次未具名抓取是下限，不是上限。同一窗口内 /llms.txt 的人类浏览量：零。根本没有人读过它。
那你还该不该发一份？
论点：花得了十分钟就发，但把它预算为可选项，而非流量——并把机器入口设在爬虫本来就在看的地方。这份文件的成本是一个静态对象，只要保持更新就是零句谎话。今天谁在读：SEO 审计员、互相批改作业的生成器与检查器生态，以及偶尔出现的未具名研究员。真实受众存在——只是不是包装上写的那一批。
真正物尽其用的门都是无聊的门。把机器通道写进 robots.txt 注释（它们实际在读的那份文件），保持 sitemap 真实，想让机器引用你，就给它们一个带稳定锚点的 API。最后这条不是理论：同一窗口里，访客名单攒了 17 次抓取，而本站读取 API 吃到 111 次机器人抓取。我们执行的优先顺序：robots.txt 路标、sitemap、API、llms.txt——礼宾部排在最后，在大楼已经自我说明清楚之后。
如何查谁在读你的 llms.txt
论点：你只需要访问日志和五分钟。同样三步适用于任何服务器日志或 CDN 的机器人页签：
# the guest list vs the audience
grep -c 'llms' access.log
grep -oE '(GPTBot|OAI-SearchBot|ChatGPT-User|PerplexityBot|ClaudeBot|DuckAssistBot)' access.log \
| sort | uniq -c | sort -rn
# what the doors weigh
curl -s -o /dev/null -w '%{size_download}\n' https://YOUR-SITE.example/llms.txtverify：这些 grep 于 2026-11-03 对一份 10 行的样例日志运行——每个模式一次计数，如上所示。本文的普查数字来自本站自有的机器人日志（ClickHouse），同日拉取；窗口已印在图上。
这份文件会继续挂在这里。若有一天某个实验室教会自家爬虫读访客名单，我们的是最新的，25KB——而日志会记下谁先敲门。我们仍无法回答的问题：流量里未具名的那一半想要什么。最近 12,895 次敲门中有 6,405 次完全没有名字，而匿名者永远跑在普查前面。那个计数，下周见。
日志窗口 2026-09-09 → 2026-11-03 · 拉取于 2026-11-03 · 最后测试 2026-11-03