改造顺序:四步不能颠倒
官网改造有固定顺序:先过机器人这一关,再补机器可读面,再做结构与内容,最后是度量。顺序错了,钱会花在刀背上——机器人进不来的站,内容写得再好也不会被引用;没有度量,改造成效永远说不清。下面四步,每步都给了验收标准:做完对照着验,不过关不进入下一步。
第一步:先过机器人这一关
很多站不是不想被引用,是机器人根本进不来:robots 写了 Disallow、CDN 默认拦截 AI 爬虫、或者返回 200 却是验证码页。用 GPTBot、ClaudeBot、OAI-SearchBot 三种身份实测抓一次,比看配置文件可靠;有条件的再加上 PerplexityBot。
实测时要看三件事:返回状态是不是 200、返回的是不是真实正文(不是验证码页或空壳)、同一页换身份结果是否一致。只看配置文件会漏掉最常见的一类问题:robots 写了放行,CDN 或 WAF 却把爬虫 IP 段拦掉,运营方本人并不知情。
验收标准:三种以上 AI 爬虫身份实测首页与核心产品页,均返回 200 且正文可提取;robots.txt 与 WAF 规则逐条核对过,没有误挡。30 家中国出海企业官网(Negency 旗舰报告 2026 年第一期,2026 年 10 月 30 日采样)抓取可达均分 91.1/100,21 家拿了满分——这一关多数企业能过,但不过关的,后面全免谈。(抽样口径:样本为 30 家中国出海企业全球官网主域名,检测用 Negency AI 可见度体检引擎,约 30 个信号、五类,单日采样;报告只测技术可见度,不测提及率。)
第二步:再补机器可读面
sitemap 保证页面被完整发现;页面结构与事实表述清晰,机器才读得准。llms.txt(把公司事实写成一份说明书)与核心页的 Markdown 版是可选辅助:能降低机器读取成本,但不是 AI 搜索的必要条件,也不保证被引用。Google 官方文档明确:进入 AI 概览与 AI 模式不需要新建机器可读文件或 AI 文本文件——llms.txt 是辅助件,不是通行证。
这一层最容易被低估:30 家样本里 15 家 sitemap 有问题,机器可读一项均分只有 69.2(中位数 68.5),是五维里最弱的一维。sitemap 失效链接、多年未更新的旧版、提交了却从未被读取,都是常见毛病;先把 sitemap 修干净,再谈 llms.txt。
验收标准:sitemap 存在、最新、无失效链接且已提交;核心页正文可从源码直接提取(不是脚本渲染后的空壳);llms.txt 如已上线,内容与官网关键事实一致且随官网同步更新。
第三步:结构与内容
JSON-LD 补 Organization/WebSite 实体类型;每页一个 H1;内容按问题组织、先短答后展开。AI 摘引的是段落,不是整页——段落先行给出可引用答案的页面,天然占优。
这一层的数据最说明问题:30 家样本里 17 家没有任何 JSON-LD,13 家 H1 缺失或不唯一,10 家机器可读与实体结构双双低于 70 分。修起来都是小工程:Organization 标注通常半天可完成首版,H1 唯一化是一次全站排查,短答是每页开头加两三句话。难的不是技术,是逐页对账的耐心——标注与可见文字不一致,比不标注更糟。
验收标准:全站核心页均有 Organization 实体标注且与可见文字一致;每页有且仅有一个 H1,写的就是本页主题;核心概念页开头先给可独立摘引的短答。
第四步:最后是度量
把机器人流量从真人流量里分出来单独看:哪类机器人来、抓哪些页、成功率多少。再把 AI 引荐的线索单独标记,否则改造成效永远说不清。
度量分两层:抓取层看各引擎爬虫的到访频次、覆盖页面与成功率(日志里按 UA 分组统计);业务层看 AI 引荐的到站量与带来源标记的线索量。改造前先跑一次基线,改造后同口径复测——没有基线的"变好了"只是感觉。
验收标准:机器人流量与真人流量在报表里分开;AI 引荐访问与线索有独立标记;改造前后有同口径复测记录。
一个具体例子:Negency 官网自己
以 Negency 官网为例:2026 年 11 月 11 日的 AI 可见度体检实测总分 97/100,其中"性能与基础"一项 80 分,首页响应 3.08 秒。97 分的站点也有最弱项——改造不是一次性工程,而是先找到最弱一维、修掉、复测、再找下一项的循环。你的站点也一样:先跑体检拿到五维基线,再按上面四步的顺序动手,不要凭感觉挑活干。
改造的完整分工见本站相关问答:爬虫放行政策、JSON-LD 四类标注、llms.txt 写法;先跑一次免费 AI 可见度体检,拿到自己站点的五维基线,是所有改造的第一步。