· 约 6 分钟
先让引用型爬虫进得来
robots 写明 Allow，再用真实 UA 看是否返回 200。训练型爬虫被拦，不记问题。
AI 回答要引用你，得先把 HTML 拿走。只在页面上堆结构化数据，同时在 robots 里禁止抓取，引用不会发生。
必须放行的五类
资料库把下列身份视为引用型核心集：OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot、Applebot。每一类单独写一段 User-agent，并写 Allow: /。只靠 User-agent: * 兜底，实测往往仍能打开，但这项只给部分分。被整站 Disallow: / 挡住，记 P0，这项 15 分清零。
训练型另说
GPTBot、ClaudeBot、CCBot、Bytespider 等训练型爬虫，放不放由站点自己权衡。它们被拦，不记入问题，也不因此把「引用可达」打成失败。检索和引用，与是否贡献训练数据，是两件分开的事。
协议写了，还要实测
有的防火墙、CDN 或安全插件会按 User-Agent 直接回 403，robots 看起来是允许的。体检会用这些爬虫的代表性 UA 再请求你提交的那个网址，引用型和检索型必须拿到 200。连接失败记为无法判定，不直接当成被拦截。
sitemap 是入口，不是正文
根上要有能打开的 sitemap.xml，并且在 robots.txt 里用 Sitemap: 行指过去。内容页的地址应出现在地图里。地图过旧会作为 P2 提示，不替代「地图不存在」这种 P0。
分平台只作展示
报告里的 Google AI 概览、Gemini、ChatGPT 搜索、Perplexity、Claude、Copilot 六格，是把实测状态翻译成平台语言。某一平台只要有一个代表 UA 返回 200，就标为可读。这张表不重复计入 100 分，避免和「爬虫实测可达」算两次。