先分清三种爬虫
训练爬虫(GPTBot、ClaudeBot、CCBot 等)为模型训练抓取;搜索索引爬虫(OAI-SearchBot、PerplexityBot、Claude-SearchBot)为 AI 搜索建索引;用户驱动型(ChatGPT-User、Claude-User、Perplexity-User)是用户让 AI 实时打开你的页面。获客直接相关的是后两类,训练类决定长期语料里的品牌存在感。
三类之间还有一个关键区别:搜索与训练类爬虫遵守 robots.txt,用户驱动型一般不受 robots.txt 约束——OpenAI 与 Perplexity 的官方文档都写明,用户触发的实时抓取"可能不适用 robots.txt 规则"。想拦它,要到防火墙或 IP 层动手,只改 robots.txt 不够。
另有一个容易混淆的名字:Google-Extended。它不是爬虫,没有独立的 UA 字符串、不会出现在访问日志里,只是一个 robots.txt 控制标记——用来表态"Google 抓到的内容能不能用于训练未来的 Gemini 模型与 Gemini 应用中的 grounding"。Google 官方文档明确:它不影响网站在 Google 搜索中的收录与排名,也不决定 AI 概览的去留。
挡住的真实代价
很多站是「误挡」而不是「选择挡」:CDN 的默认策略、安全厂商的规则包、robots 里一句宽泛的 Disallow。先用机器人身份实测一遍,再讨论政策——我们见过最多的情况是运营方以为自己在放行、实际全挡。
误挡还有一种隐蔽来源:托管服务替你写了 robots.txt。Cloudflare 在 2025 年 9 月推出 Content Signals 政策时,为其 380 多万个使用托管 robots.txt 的域名默认加上了表态行(search=yes、ai-train=no)。你没写过的规则,可能已由服务商替你表了态——先读一遍线上生效的 robots.txt,再讨论政策。
放行的防护三件套
- 敏感路径关闭:/admin、后台、内部工具与爬虫政策无关,照常关;
- 限流按真实 IP:防的是洪水式抓取,不是正常索引;
- Content-Signal 声明:ai-train / search / ai-input 三个维度分别表态,细粒度表达立场。
Content-Signal 要说清楚它的地位:它是 Cloudflare 在 2025 年 9 月提出的 robots.txt 扩展(三个信号各取 yes/no,不写即不表态),IETF 的 AI Preferences 工作组正在标准化同类词汇,但目前仍是草案/提议,不是已采纳标准;Cloudflare 自己也写明,它表达的是偏好,不是技术拦截手段。把它当作细粒度表态用,不要当作强制手段用。
什么时候应该挡
内容本身是付费资产(研报全文、数据库)、或站点不承担获客职能时,挡训练爬虫是合理选择。判断标准只有一个:这个渠道对你是不是获客渠道。是,就别自己锁门。
挡的时候也要分清对象:挡 GPTBot 只影响训练,不影响 ChatGPT 搜索引用你——那是 OAI-SearchBot 的事;OpenAI 官方文档明确写着,两类设置各自独立。最常见的错误是一句 Disallow 全挡,把搜索引用和训练一起关掉。
分引擎决策:按用途分三类
- 搜索与引用类(OAI-SearchBot、PerplexityBot、Claude-SearchBot 等):直接决定你能不能出现在 AI 答案里——做 GEO 就必须放行。Google 的 AI 概览与 AI 模式依赖 Googlebot 建立的索引,挡 Googlebot 等于同时退出传统搜索与 AI 概览,不在考虑之列;
- 用户触发类(ChatGPT-User、Claude-User、Perplexity-User):真人提问时实时抓取你的页面——应当放行,这类抓取往往带来质量最高的引用;
- 训练类(GPTBot、ClaudeBot、CCBot、Google-Extended 等):用于模型训练,放不放行是版权与数据立场问题。放行不直接换来引用,但全面封禁会降低引擎对站点的整体熟悉度。Negency 的口径:搜索与用户触发类全放行,训练类默认放行、逐个可调。
正在变化的规则(发展中):2026 年 10 月 30 日,IETF 出现了一份统一训练偏好信号的草案(robots.txt 专用组),Google、微软、OpenAI、Anthropic 先后宣布支持——Google 计划 2027 年初落地,Anthropic 已从 2026 年 10 月 30 日起开始承认该信号。落地前仍以各厂商现行文档为准。
放行之后还要做的三件事
- 逐条核对 robots.txt 与防火墙/WAF:很多站点是被 CDN 或安全规则误挡、本人并不知情——我们体检时见过 robots 写了放行、WAF 却把爬虫 IP 段拦掉的组合;
- 用日志验证:放行不等于会来抓,按 UA 统计各引擎的实际抓取频次与覆盖页面,心里要有数。核验身份时不要只认 UA 字符串(容易伪造),要对照各厂商公布的爬虫 IP 清单。另注意:OpenAI 说明 robots.txt 更新后约 24 小时系统才会调整,不要改完立刻下结论;
- 给抓取留好读的版本:正文服务端渲染,核心页备好机器可读面(如 Markdown 版、llms.txt,均属可选辅助),降低引擎的抓取与解析成本。
拿不准本站现在到底放行了谁?免费 AI 可见度体检会模拟主流 AI 爬虫实测放行状态,先看结果再定政策。