你的 robots.txt 正在替你做一个人没审过的 AI 决定
你站点上有一个文件,决定了你在 ChatGPT、Claude、Perplexity 里到底存不存在。它只有几 KB 纯文本,大概率是几年前写的,多数公司从上线那天起就没人再看过。
这个文件现在是一个战略决策,而多数站点是在事故中做出的这个决策。
两个任务,一个文件
AI 服务商至少跑着两类爬虫,干的是相反的事:
- 训练爬虫收集文本,用来造未来的模型;
- 检索爬虫实时抓页面,用来回答用户当下的问题,并附上引用。
挡住前者,是版权与内容控制决策;挡住后者,是可见度决策。错误就在于把这两件事当成同一件事。
OpenAI 自己的文档写得很清楚:要进入 ChatGPT 的摘要与片段,就不能挡 OAI-SearchBot;而退出训练,是另一条规则:禁止 GPTBot。两个开关,两个结果。
真正重要的机器人
| 机器人 | 归属 | 任务 | 挡住它的代价 |
|---|---|---|---|
GPTBot |
OpenAI | 训练 | 内容退出训练;搜索可见度不受影响 |
OAI-SearchBot |
OpenAI | 搜索检索 | 从 ChatGPT 搜索答案与引用中消失 |
ChatGPT-User |
OpenAI | 用户提问时实时抓取 | 从实时浏览回答中消失 |
ClaudeBot |
Anthropic | 训练 + 检索 | 从 Claude 回答中消失 |
PerplexityBot |
Perplexity | 检索索引 | 从 Perplexity 引用中彻底消失 |
Google-Extended |
Gemini/AI 训练 | 不影响 Google 搜索排名 | |
Googlebot |
搜索索引 | 从 Google 搜索消失,也就失去 AI 摘要资格 |
Google 那一行是错得最多的。Google-Extended 是训练开关,它不影响传统排名,也不会把你从 AI 摘要里移除。真想退出 Google 的生成式功能,杠杆是 Googlebot 加 noindex——那是一个大得多的决定。
“误挡”有多普遍
对 1069 个高流量站点 robots.txt 的扫描发现,大约五分之一至少挡住了一个主流 AI 爬虫。在挡了至少一个训练爬虫的 268 个站里,87% 挡了两个以上,74% 挡了三个以上。
这个分布很说明问题。如果是逐条独立决策,结果应该是零散的;几百个站点出现近乎一致的封禁清单,通常意味着某份模板、某个 CDN 预设或某个安全插件被直接套用,而没人评估过它对”检索”意味着什么。
三种典型死法
一、两个都挡,还管这叫”保护内容”。 你既把文本挡在训练之外,也把它挡在客户正在读的答案之外。前者看不见后果,后者会在半年后表现为”引用怎么一直没我们”。
二、依赖 CDN 的默认值。 一些机器人管理预设会把”AI 爬虫”整类封掉,而这一类里包含检索爬虫。审预设,别信标签。
三、为了省服务器资源而挡。 检索爬虫确实可能很凶。但 robots.txt 不是限流工具——它是全有或全无的,代价是完全不可见。该用 CDN 限速、缓存,以及一条专门给爬虫的轻量文本路径。
llms.txt 到底要不要做
它的设想是:在域名根目录放一份纯文本”地图”,把你最重要的页面用人类语言描述清楚。写它二十分钟,作为文档确实有用——对愿意读的模型有用,对你自己的团队也有用。
诚实的保留意见是:它是个提案,不是有强制力的标准。别把它当成可抓取性、结构化内容、sitemap 的替代品。它只是提示,而提示只在基本功成立时才有效。
五分钟体检
- 打开
你的域名/robots.txt,逐条读 user-agent 段; - 确认
OAI-SearchBot、PerplexityBot、ClaudeBot、Googlebot在关键内容路径上是放行的; - 明确决定
GPTBot拦不拦(训练退出与否),并写下来是谁、为什么; - 检查 CDN、WAF、机器人管理插件有没有覆盖这些规则;
- 用爬虫的 UA 实际请求一篇文章地址看返回什么。边缘节点返回 403,就是”静默版的 robots 封禁”。
为什么这其实是内容问题
挡住检索爬虫不会让你的页面变差,它只是让页面不在考虑范围内。然后你会花几个月优化一批没有任何模型被允许读的内容。
修复很便宜、也很不性感——正因如此,值得一次做对,并把决定记录下来,免得下次装个插件又悄悄推翻它。
放行之后,工作重心就转到”让页面可被摘走”:带日期的事实、表格、清晰的实体命名。SEONIB 默认按这些字段生成文章并跨语言发布,于是检索爬虫现在能读到的页面,也是答案引擎真正能搬走的页面。
分享文章