· 约 14 分钟
SEO 配置要点深度分析：先让搜索引擎收得进
从发现、抓取、收录到展现，把 robots、sitemap、canonical、标题、分页和站长工具里的常见原因讲清楚。任何公开网站都能按这套排查。
很多站长把「没收录」说成一件事。排查时要拆开：爬虫有没有发现这个 URL，能不能抓到可解析的 HTML，引擎愿不愿意放进索引，搜索结果里的标题和摘要像不像人话。配置做错，常常卡在前三步；关键词和长尾，要等页面真的进了索引才谈得上。
下面按配置顺序写。规则对齐 Google Search Central、Bing 站长指南和百度搜索资源平台学堂里说得清的部分。GEO库自己的体检管的是 AI 能不能引用；本文管搜索引擎能不能先把你收进来。两件事底座一样，目标不一样。
一、先分清四件事
- 发现：站内链接、sitemap、站长工具提交，让爬虫知道 URL 存在。
- 抓取：robots 允许，服务器返回正文 HTML，不是登录墙，也不是要点一下才出现的空壳。
- 收录：引擎决定放进索引。抓过不等于收进。noindex、重复页、软 404、质量过低都会停在这一步。
- 展现：查询时的标题、摘要、富结果。没收录就没有展现；收录了也不保证每个词都排第一。
任何网站的优先顺序都是：先让重要 URL 被抓到并索引，再谈排名和 AI 引用。没收录的页面，AI 也没有稳定来源可引。
二、robots.txt：管抓取，不管「移出搜索」
robots.txt 告诉自动客户端哪些 URL 可以抓。Google 写得很直：它主要用来避免爬虫把站打满，不是把网页挡在搜索之外的手段。想不出现在结果里，用 noindex 或登录保护。被 robots 挡住的 URL，仍可能因为别处的链接被索引，结果里往往只有地址、没有摘要。
同一页上又写 robots 禁止、又写 noindex 时，爬虫读不到 noindex，禁止抓取会把索引指令抵消。不要把 noindex 写进 robots.txt，Google 不支持。Googlebot 也不使用 Crawl-delay；真要降载，用 Search Console 的抓取速率，或把垃圾 URL 赶出 sitemap。
- 对 Googlebot、Bingbot、Baiduspider 写 Disallow: /，是整站级事故。
- 面向中文读者时不要挡 Baiduspider；面向必应系结果时保留 Bingbot。
- Bing 的站长指南写明：robots 管抓取；要退出 Bing 搜索、Copilot 和 grounding，用 NOINDEX。
- 每份 robots 末尾声明真实的 Sitemap: 行，主机必须是选定的唯一规范主机。
百度学堂有一句「若希望收录全部内容，就不要建立 robots.txt」。不必照做。一份放行的 robots 仍然有用：它声明 Sitemap，并避免有人以后误写整站 Disallow。
三、sitemap：提示，不是命令
Google 把提交 sitemap 定义成提示：不保证会下载，更不保证会抓里面的 URL。单个文件上限 5 万条或未压缩 50MB，更大就拆开用 sitemap index。文件用 UTF-8，URL 写绝对地址。Google 忽略 changefreq 和 priority，不要靠这两个字段催收录。lastmod 只有在前后一致、且能对上页面真实修改时才会被用；改一行版权年份不算。
只列希望被索引的规范 URL：返回 200、自指 canonical、没有 noindex。不列参数垃圾页、打印页、后台、已 301 的旧地址、站内搜索结果。CMS 通常已经会生成一份，不要再平行挂第二份互相矛盾的清单。
百度侧要特别记住：周期性抓 sitemap 文件，解决不了「同一 URL 内容更新」的问题。论坛帖有新回复时，不要以为改了 sitemap 周期就会复抓正文。新 URL 想快点被发现，用普通收录的 API 推送；学堂写明它快于 sitemap。文件带 ETag 时，他们会更常来看 sitemap 文件本身。
四、规范地址与跳转
每个站先定一个主机，例如 https://www.example.com/。其余入口 301 到它：http 到 https、裸域到 www（若你选了 www）、尾斜杠和默认文档不要各算一个 URL。
| 配置 | 要点 |
|---|---|
| canonical | 是提示不是命令；页面上的 rel=canonical 强于 sitemap；规范页要自指 |
| 301 / 308 | 永久跳转，目标更容易成为规范地址；换域名、合并重复主机用它 |
| 302 / 307 | 临时跳转，结果里往往仍是旧 URL；短时间维修再用 |
| 不要做的事 | 用 robots 或临时移除工具当规范手段；canonical 指向 404 或全站指首页 |
有 hreflang 时，canonical 应指向同语言的那一页。不要用 noindex 在本站里挑选「哪一页当规范」——那会把这页整个赶出搜索。重复页用 canonical。旧地址要逐条 301 到对应新地址，不要全部扔到新首页。
五、noindex：该藏的藏，该收的收
noindex 放在 meta robots 或 HTTP 头 X-Robots-Tag 里。页面必须能被抓到，否则规则看不见，URL 仍可能出现。加上之后要等下次抓取才生效。急着下线用移除工具，那是临时隐藏，不是规范手段。
该用 noindex 的地方：站内搜索结果、筛选参数页、购物车、结账、后台、一次性报告、预览、谢谢页、薄到没有独立查询价值的归档。不该用的地方：文章正文、商品详情、重要栏目列表。移动优先索引下，手机版和桌面版的 robots meta 必须一致；手机版单独 noindex，整页会在移动优先索引里掉出去。
nosnippet 会去掉文字摘要和视频预览，覆盖网页搜索、图片、Discover 和 AI Mode。它不阻止索引。若还希望摘要被引用，不要在正文页上加 nosnippet。
六、标题、长尾与对人有用的正文
搜索结果里的标题不是站长写死的。Google 会从 title、看得见的主标题、H1、og:title、页内大字、正文、锚文本、WebSite 结构化数据等多处自动选。改完要等再抓取。robots 把页挡住时，Google 只能用站外锚文本来起标题。
- title 和 H1 说同一件事：这页独有的对象放前面，网站名放后面。
- 每页一个标题。栏目页、文章页、商品页不要共用首页标题。
- 小标题按读者会追问的顺序拆：是什么、有何不同、怎么做、注意什么。
- 没有官方的「标题必须 N 个字才排名」。过长只会在结果里被截断。
- 长尾不是特殊标签，也不是收录开关：一页一件具体的事，前两段给答案，大类页用说得清的锚文本链过去。
- 同一篇正文只换一个词再复制几十个 URL，是门页和重复内容，不是长尾。
Google 把资格分成技术上能被抓到、不违反垃圾政策、以及对人有用的内容。满足了也不保证一定抓取、索引或展现。写正文时能回答三句就够：谁写的、依据是什么、为什么存在。没有首选字数。没实质修改却改日期，没有用。
七、分页、筛选与 JavaScript
分页每一页要有自己的 URL，也有指向自己的 canonical。不要把第 2 页 canonical 到第 1 页。用普通带 href 的链接串起来。页码不要只放在 # 后面，Google 会忽略片段。Google 已不再使用 rel=next / rel=prev。「加载更多」和无限滚动：爬虫不点击按钮，列表里的条目还要能从分页链接或 sitemap 走到。
同一列表只是换了排序或筛选：用 noindex 避免收进索引，或用 robots 少抓这些样子。sitemap 只留不带这些参数的那一个 URL。
主要内容靠 JavaScript 才出现时：首屏正文尽量在首次 HTML 里；链接用带 href 的 a；单页应用换视图用 History API，不要用 #/products 当唯一地址；想被收录就不要在原始 HTML 里放 noindex，再指望脚本删掉它——Google 看到 noindex 后可能不再渲染。robots 也不要 Disallow 正文依赖的 CSS 和 JS。
八、站长工具里常见的「未编入索引」
| 报告原因 | 先看什么 |
|---|---|
| Blocked by robots.txt | 先放行，挡了就读不到 noindex |
| Excluded by noindex | 正文页是否误加了 noindex |
| Page with redirect | 索引的应是跳转目标 |
| Soft 404 | 有内容就不要空壳 200；永久消失用 404/410 |
| Alternate page with proper canonical | 正常；确认规范页才是你想被收录的 |
| Discovered – currently not indexed | 从重要页链过去；多点请求编入索引不会提高配额 |
| Crawled – currently not indexed | 看重复、软 404 或正文没有独立价值；再提交不能命令收录 |
第三方「提交即可秒收」的工具只能调用站长侧 API，不能命令 Google 一定收录。Indexing API 只适用于带 JobPosting，或嵌在 VideoObject 里的 BroadcastEvent 的页面，默认每天 200 次，普通企业站、内容站、电商站不要用它扫全站。
九、按站点类型落地
- 博客 / CMS：后台站点地址与规范主机一致；只用一套 SEO 插件管 title、canonical、sitemap、schema。
- 论坛：robots 放在站点根；搜索页和空归档不进 sitemap；新回复不能只靠 sitemap 周期刷新。
- 前面有 CDN：强制 HTTPS、www 选择与 canonical 一致；爬虫对正文要拿到和浏览器相同的 200。
- 换域名：旧 URL 逐条 301；新站提交 sitemap；旧站保留跳转至少数月。
十、验收与反模式
改完 robots、sitemap、跳转或全站标题模板之后，至少核对：规范主机的 robots 返回 200 且没有整站 Disallow；sitemap 里抽 5 个 URL 都是 200、自指 canonical、无 noindex；http 与裸域都 301 到规范主机；抽一篇正文，查看源代码能直接看到标题和主要段落；站长工具里主机已验证、sitemap 成功。
- 不要关键词堆在标题、页脚、隐藏文字里。
- 不要给爬虫看长文、给人看跳转。
- 不要买链接、做门页、把同一段正文复制到几十个域名。
- 不要两个 SEO 插件同时输出 schema。
- 不要为了 AI 去封搜索爬虫，或为了搜索去封引用爬虫。
和 GEO 怎么一起用
搜索引擎愿意收录，是 AI 稳定引用的底座。收录正常但不好引用，按 GEO 文改答案前置、JSON-LD 和引用型爬虫放行。引用素材齐全但站长工具显示已屏蔽，先回到本文的 robots、CDN 和 noindex。GEO库提交同一个公开 URL，可以同时看到引用侧分数；配置侧仍以各引擎站长工具里的索引原因为准。