SEONIB SEONIB

你的 robots.txt 正在替你做一个人没审过的 AI 决定

作者: SEONIB 日期: 2026-11-13 13:37:44
你的 robots.txt 正在替你做一个人没审过的 AI 决定

你站点上有一个文件,决定了你在 ChatGPT、Claude、Perplexity 里到底存不存在。它只有几 KB 纯文本,大概率是几年前写的,多数公司从上线那天起就没人再看过。

这个文件现在是一个战略决策,而多数站点是在事故中做出的这个决策。

两个任务,一个文件

AI 服务商至少跑着两类爬虫,干的是相反的事:

  • 训练爬虫收集文本,用来造未来的模型;
  • 检索爬虫实时抓页面,用来回答用户当下的问题,并附上引用。

挡住前者,是版权与内容控制决策;挡住后者,是可见度决策。错误就在于把这两件事当成同一件事。

OpenAI 自己的文档写得很清楚:要进入 ChatGPT 的摘要与片段,就不能挡 OAI-SearchBot;而退出训练,是另一条规则:禁止 GPTBot。两个开关,两个结果。

真正重要的机器人

机器人 归属 任务 挡住它的代价
GPTBot OpenAI 训练 内容退出训练;搜索可见度不受影响
OAI-SearchBot OpenAI 搜索检索 从 ChatGPT 搜索答案与引用中消失
ChatGPT-User OpenAI 用户提问时实时抓取 从实时浏览回答中消失
ClaudeBot Anthropic 训练 + 检索 从 Claude 回答中消失
PerplexityBot Perplexity 检索索引 从 Perplexity 引用中彻底消失
Google-Extended Google Gemini/AI 训练 不影响 Google 搜索排名
Googlebot Google 搜索索引 从 Google 搜索消失,也就失去 AI 摘要资格

Google 那一行是错得最多的。Google-Extended 是训练开关,它不影响传统排名,也不会把你从 AI 摘要里移除。真想退出 Google 的生成式功能,杠杆是 Googlebot 加 noindex——那是一个大得多的决定。

“误挡”有多普遍

对 1069 个高流量站点 robots.txt 的扫描发现,大约五分之一至少挡住了一个主流 AI 爬虫。在挡了至少一个训练爬虫的 268 个站里,87% 挡了两个以上,74% 挡了三个以上。

这个分布很说明问题。如果是逐条独立决策,结果应该是零散的;几百个站点出现近乎一致的封禁清单,通常意味着某份模板、某个 CDN 预设或某个安全插件被直接套用,而没人评估过它对”检索”意味着什么。

三种典型死法

一、两个都挡,还管这叫”保护内容”。 你既把文本挡在训练之外,也把它挡在客户正在读的答案之外。前者看不见后果,后者会在半年后表现为”引用怎么一直没我们”。

二、依赖 CDN 的默认值。 一些机器人管理预设会把”AI 爬虫”整类封掉,而这一类里包含检索爬虫。审预设,别信标签。

三、为了省服务器资源而挡。 检索爬虫确实可能很凶。但 robots.txt 不是限流工具——它是全有或全无的,代价是完全不可见。该用 CDN 限速、缓存,以及一条专门给爬虫的轻量文本路径。

llms.txt 到底要不要做

它的设想是:在域名根目录放一份纯文本”地图”,把你最重要的页面用人类语言描述清楚。写它二十分钟,作为文档确实有用——对愿意读的模型有用,对你自己的团队也有用。

诚实的保留意见是:它是个提案,不是有强制力的标准。别把它当成可抓取性、结构化内容、sitemap 的替代品。它只是提示,而提示只在基本功成立时才有效。

五分钟体检

  1. 打开 你的域名/robots.txt,逐条读 user-agent 段;
  2. 确认 OAI-SearchBot、PerplexityBot、ClaudeBot、Googlebot 在关键内容路径上是放行的;
  3. 明确决定 GPTBot 拦不拦(训练退出与否),并写下来是谁、为什么;
  4. 检查 CDN、WAF、机器人管理插件有没有覆盖这些规则;
  5. 用爬虫的 UA 实际请求一篇文章地址看返回什么。边缘节点返回 403,就是”静默版的 robots 封禁”。

为什么这其实是内容问题

挡住检索爬虫不会让你的页面变差,它只是让页面不在考虑范围内。然后你会花几个月优化一批没有任何模型被允许读的内容。

修复很便宜、也很不性感——正因如此,值得一次做对,并把决定记录下来,免得下次装个插件又悄悄推翻它。

放行之后,工作重心就转到”让页面可被摘走”:带日期的事实、表格、清晰的实体命名。SEONIB 默认按这些字段生成文章并跨语言发布,于是检索爬虫现在能读到的页面,也是答案引擎真正能搬走的页面。

分享文章

相关文章

推荐阅读

开始你的下一步

探索更多可能,发现适合你的解决方案。