FAQ

应该放行 GPTBot 等 AI 爬虫吗?

对以获客为目的的企业站:应该放行,而且是显式放行。逻辑很直接——AI 爬虫进不来,AI 就不会在答案里引用你,等于主动退出 AI 搜索这个渠道。我们对 30 家出海企业的实测里,只有 3 家把三大 AI 爬虫全挡在外面,而这 3 家的可见度上限被自己锁死。放行不等于裸奔:管理后台等敏感路径继续关闭、按真实 IP 限流防滥用、内容使用信号(Content-Signal)可以单独声明训练/搜索/输入的许可。Negency 的 robots 政策是全部放行 + 仅关后台 + 限流防护,可直接参考。

Figure 01 · robots.txt 示例:放行搜索类,挡训练类

# 示例策略:放行搜索与引用类,挡训练类
# 请按自家版权与获客立场调整;Negency 默认训练类放行、逐个可调

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow: /admin/
Disallow: /internal/
  1. 每类爬虫独立成组规则只对点名的爬虫生效;OAI-SearchBot 与 GPTBot 各自独立
  2. Google-Extended 是控制标记,不是爬虫没有独立 UA 字符串,不会出现在日志里;只表态训练与 grounding 用途,不影响搜索收录
  3. Content-Signal 是偏好声明,不是拦截草案/提议阶段,非已采纳标准;不写某一项即不表态
  4. 用户触发类一般不受 robots.txt 约束需在防火墙/IP 层控制;本示例不为其设组
  5. 敏感路径与爬虫政策无关,照常关闭/admin/ 与内部工具对所有爬虫关闭
爬虫名与行为以各厂商官方文档为准(OpenAI、Anthropic、Perplexity、Google、Common Crawl,见本文依据)。改完 robots.txt 后用日志核验实际抓取;OpenAI 说明约 24 小时后系统才会调整。Content-Signal 为 Cloudflare 2025 年 9 月提出的扩展,IETF 标准化进行中,尚未成为正式标准。

先分清三种爬虫

训练爬虫(GPTBot、ClaudeBot、CCBot 等)为模型训练抓取;搜索索引爬虫(OAI-SearchBot、PerplexityBot、Claude-SearchBot)为 AI 搜索建索引;用户驱动型(ChatGPT-User、Claude-User、Perplexity-User)是用户让 AI 实时打开你的页面。获客直接相关的是后两类,训练类决定长期语料里的品牌存在感。

三类之间还有一个关键区别:搜索与训练类爬虫遵守 robots.txt,用户驱动型一般不受 robots.txt 约束——OpenAI 与 Perplexity 的官方文档都写明,用户触发的实时抓取"可能不适用 robots.txt 规则"。想拦它,要到防火墙或 IP 层动手,只改 robots.txt 不够。

另有一个容易混淆的名字:Google-Extended。它不是爬虫,没有独立的 UA 字符串、不会出现在访问日志里,只是一个 robots.txt 控制标记——用来表态"Google 抓到的内容能不能用于训练未来的 Gemini 模型与 Gemini 应用中的 grounding"。Google 官方文档明确:它不影响网站在 Google 搜索中的收录与排名,也不决定 AI 概览的去留。

挡住的真实代价

很多站是「误挡」而不是「选择挡」:CDN 的默认策略、安全厂商的规则包、robots 里一句宽泛的 Disallow。先用机器人身份实测一遍,再讨论政策——我们见过最多的情况是运营方以为自己在放行、实际全挡。

误挡还有一种隐蔽来源:托管服务替你写了 robots.txt。Cloudflare 在 2025 年 9 月推出 Content Signals 政策时,为其 380 多万个使用托管 robots.txt 的域名默认加上了表态行(search=yes、ai-train=no)。你没写过的规则,可能已由服务商替你表了态——先读一遍线上生效的 robots.txt,再讨论政策。

放行的防护三件套

  • 敏感路径关闭:/admin、后台、内部工具与爬虫政策无关,照常关;
  • 限流按真实 IP:防的是洪水式抓取,不是正常索引;
  • Content-Signal 声明:ai-train / search / ai-input 三个维度分别表态,细粒度表达立场。

Content-Signal 要说清楚它的地位:它是 Cloudflare 在 2025 年 9 月提出的 robots.txt 扩展(三个信号各取 yes/no,不写即不表态),IETF 的 AI Preferences 工作组正在标准化同类词汇,但目前仍是草案/提议,不是已采纳标准;Cloudflare 自己也写明,它表达的是偏好,不是技术拦截手段。把它当作细粒度表态用,不要当作强制手段用。

什么时候应该挡

内容本身是付费资产(研报全文、数据库)、或站点不承担获客职能时,挡训练爬虫是合理选择。判断标准只有一个:这个渠道对你是不是获客渠道。是,就别自己锁门。

挡的时候也要分清对象:挡 GPTBot 只影响训练,不影响 ChatGPT 搜索引用你——那是 OAI-SearchBot 的事;OpenAI 官方文档明确写着,两类设置各自独立。最常见的错误是一句 Disallow 全挡,把搜索引用和训练一起关掉。

分引擎决策:按用途分三类

  • 搜索与引用类(OAI-SearchBot、PerplexityBot、Claude-SearchBot 等):直接决定你能不能出现在 AI 答案里——做 GEO 就必须放行。Google 的 AI 概览与 AI 模式依赖 Googlebot 建立的索引,挡 Googlebot 等于同时退出传统搜索与 AI 概览,不在考虑之列;
  • 用户触发类(ChatGPT-User、Claude-User、Perplexity-User):真人提问时实时抓取你的页面——应当放行,这类抓取往往带来质量最高的引用;
  • 训练类(GPTBot、ClaudeBot、CCBot、Google-Extended 等):用于模型训练,放不放行是版权与数据立场问题。放行不直接换来引用,但全面封禁会降低引擎对站点的整体熟悉度。Negency 的口径:搜索与用户触发类全放行,训练类默认放行、逐个可调。

正在变化的规则(发展中):2026 年 10 月 30 日,IETF 出现了一份统一训练偏好信号的草案(robots.txt 专用组),Google、微软、OpenAI、Anthropic 先后宣布支持——Google 计划 2027 年初落地,Anthropic 已从 2026 年 10 月 30 日起开始承认该信号。落地前仍以各厂商现行文档为准。

放行之后还要做的三件事

  • 逐条核对 robots.txt 与防火墙/WAF:很多站点是被 CDN 或安全规则误挡、本人并不知情——我们体检时见过 robots 写了放行、WAF 却把爬虫 IP 段拦掉的组合;
  • 用日志验证:放行不等于会来抓,按 UA 统计各引擎的实际抓取频次与覆盖页面,心里要有数。核验身份时不要只认 UA 字符串(容易伪造),要对照各厂商公布的爬虫 IP 清单。另注意:OpenAI 说明 robots.txt 更新后约 24 小时系统才会调整,不要改完立刻下结论;
  • 给抓取留好读的版本:正文服务端渲染,核心页备好机器可读面(如 Markdown 版、llms.txt,均属可选辅助),降低引擎的抓取与解析成本。

拿不准本站现在到底放行了谁?免费 AI 可见度体检会模拟主流 AI 爬虫实测放行状态,先看结果再定政策。

相关问题

GEO 和 SEO 有什么区别?

SEO 优化的是网页在搜索结果列表里的排名,目标是点击;GEO(生成式引擎优化)优化的是企业在 AI 生成答案里被发现、理解、信任和引用的程度,目标是进入答案本身。两者共用一部分技术基础(可抓取性、结构化数据、内容质量),但 GEO 额外要求实体事实治理、机器可读面(llms.txt、Markdown 镜像)和第三方提及生态。做 SEO 的网站不等于对 AI 可见:AI 引擎引用谁,取决于它能否抓到、读懂并核实这个企业的事实。 具体差异集中在四个层面:目标、对象、内容结构与评估方式,正文有逐项对照。

中国企业出海,怎么做 AI 搜索可见度?

出海企业的 AI 可见度短板通常不在内容量,而在机器可读面:我们对 30 家中国出海企业的实测显示,类目均分最弱的是机器可读面(69.2/100)——17 家首页没有 JSON-LD、15 家 sitemap 缺失或收录不足、13 家 H1 缺失或重复。路径是四步:先体检摸清机器人可达性与机器可读面,再治理实体事实(双语口径一致),然后按海外客户的真实问题生产问答式内容,最后经营第三方提及(媒体、社区、合作伙伴),并用固定问题集定期复测提及与引用验证效果。

AI 搜索时代,企业官网要做哪些改造?

五件套:一是机器人可达——robots 对 AI 爬虫显式放行且实测不被防火墙/验证页拦截;二是机器可读面——llms.txt 事实文件(可选辅助)、sitemap 完整、核心页提供 Markdown 版(可选);三是实体结构——JSON-LD 写明 Organization 等实体类型、标题与 H1 规范、双语站 hreflang 对应;四是问答式内容——按客户问题组织页面、短答先行并配 FAQ schema;五是可度量——后台能分开看到真人与机器人流量、AI 引荐带来的线索单独归因。Negency 官网自身就是按这五条改造的,体检工具用的也是同一套标准。

llms.txt 是什么?企业网站有必要加吗?

llms.txt 是放在网站根目录的一份纯文本说明书,专门写给 AI 看:公司是谁、做什么、核心页面在哪、关键事实与定义是什么。它不能直接提升被引用的概率(Ahrefs 2026 年 5 月研究:137,210 个域名中,已发布 llms.txt 的文件 97% 当月零次被取用,对引用率的直接影响接近零),但它是成本最低的事实治理动作——一份文件把全网口径统一锚点立住,AI 抓取时有据可依。结论:值得加,但别指望只加它就有效;它要和实体事实治理、结构化数据、问答式内容一起做。Negency 的 llms.txt 是事实圣经版:含公司定义、方案边界、案例出处与引用规则。

企业部署 AI Agent 之前,要做哪些准备?

四件准备,缺一件都不建议开工:一是场景选型——从高频、规则相对清晰、结果可验证的工作流里选试点,而不是从最炫的场景选;二是知识与数据基础——Agent 要用的知识库先治理(去重、版本、权限),脏知识库只会放大错误;三是治理设计——权限边界、人工审批点、审计日志在上线前定好;四是度量基线——试点前先记录人工流程的耗时与错误率,否则上线后无法证明价值。Negency 的方法论是先小范围受控试点、验证有效再扩围,治理是设计输入而不是事后补丁。