博客·2026 · 10 · 20·24 min
llms.txt 有没有 AI 来读？一个站 100 天访问日志：核验过身份的 AI 抓取器取了 3,791 次 robots.txt 和 sitemap，llms.txt 0 次
我们自己的站点在北京时间 2026 年 7 月 8 日上线 llms.txt，我们拿此后 100 天的 nginx 访问日志（104,645 行）看各家 AI 抓取器取不取它：llms 文件的请求一共 210 次（五个能取到的地址 196 次，另有 14 次取根路径下没有文件的 llms-full.txt），没有一次来自能核验身份的 AI 抓取器；同一窗口里，OpenAI、Anthropic、Perplexity、Amazon 的 7 个名字核验通过的请求取了 robots.txt 1,222 次、sitemap 2,569 次，OAI-SearchBot 天天取 robots.txt，GPTBot 天天取 sitemap。自报 AI 抓取器或搜索引擎蜘蛛名字来取 llms 文件的 23 次全是我们自己（冒用 Googlebot 名字的站点检查 22 次，用 Claude Code 取文件 1 次），210 次里能确认是我们自己的至少 124 次。结论：llms.txt 可以放、成本低，但别指望它；关键事实要写进服务器直接返回的 HTML。单一站点的实测，不是行业均值。
阅读全文→