做内容站的人都有一个共同的痛：明明每天在更新，搜索引擎那边的收录数量一动不动。你搜 site:你的域名，出来的还是三个月前那几篇。流量起不来，很多时候不是内容不行，是页面根本没进索引。
这件事的特点是：问题藏在站外、没人主动告诉你、不查就永远不知道。正适合做成一条常跑的巡检流水线。这篇讲用 OpenClaw 把「网站收录诊断」做成固定动作——先拿底数，再分层排查，最后跟踪趋势。同时会强调两条合规边界：优先走官方接口，不做高频抓取、不绕反爬机制。
一、先分清三种「不被收录」
「不收录」是个笼统的说法，实际上是三种完全不同的情况，处理方式也完全不同：
- 抓不到。搜索引擎的爬虫压根没来过，或者来了收到拒绝。属于技术问题，通常好查也好修。
- 抓到但不收。爬虫来过、读完了，但没放进索引。多跟内容质量、重复度、页面价值判断有关，最难办。
- 收了但不给流量。已经进了索引，但排名极低或者不给展现。这已经不是收录问题，而是排名问题——别混着治。
诊断的第一步永远是分类，而不是先修。很多人一发现不收录就去提交、去改标题，其实问题在技术侧，改了也白改。
二、拿底数：三种手段，优先级明确
要诊断，先得有数据。三种手段按可靠性排序：
- 站点平台的官方数据（首选）。百度搜索资源平台、Google Search Console 都会给出已收录页面数、抓取统计、抓取异常原因。这是官方口径，最准，也最安全，优先用它。
- 抽样 site: 查询（补充）。官方数据粒度不够时，用
site:查询做抽样核对：抽查若干页面的收录状态。注意——只做低频抽样，不要循环跑几百次，那既不礼貌，也容易被判定为异常请求。 - 服务器访问日志（辅助）。从日志里数爬虫的来访频次和返回码（200 / 404 / 403 / 5xx 各占多少）。这一层能直接告诉你「爬虫到底来没来」。日志怎么看、常见错误怎么定位，日志排错那一套 可以直接复用。
让 Agent 干的活是：把这三路数据定期汇总成一张表——页面总数、已收录数、未收录清单、抓取异常清单，以及和上一期的对比。有这张表，才知道问题在扩大还是在收敛。
三、抓不到：技术侧五查
爬虫不来，九成逃不出下面五条。按顺序查，发现就修：
- robots.txt 有没有误封。最常见的事故。特别是测试环境那份 robots 跟着上线了，或者某次改版把
Disallow: /带进了生产。 - 页面上有没有 noindex。检查 meta robots 标签和响应头里的 X-Robots-Tag。模板继承导致全站被 noindex 的情况并不少见。
- canonical 指向对不对。多个域名、http/https 混用、带不带 www，任何一个没统一都会让权重分散到重复页面上，最后谁都不收录。
- 状态码和跳转链。重要的旧链接有没有变成 404，或者套了好几层跳转。链太长会被丢弃。这一层和站内死链巡检是同一件事——死链与跳转链怎么扫 里的做法可以直接拿来用。
- 有没有被防火墙/WAF 拦住。不少站点上防护策略之后，把正常爬虫也一起挡了，返回 403 或验证页。查日志里爬虫来访的返回码就能看出来。
四、抓到不收：内容侧四看
技术侧没问题，那就是内容侧。四条判断标准：
- 重复度。同一内容出现在不同 URL（分页、标签页、参数页、打印版）上，会被判定为低价值重复。
- 模板化程度。整页正文只有一两百字，其余全是导航、推荐、广告位——这种页面越来越难进索引，因为对用户没有增量价值。
- 内链太少。一个页面如果没有任何站内页面指向它，等于孤岛，搜索引擎很难判断它的重要性。新文章尤其需要在相关旧文里补反向链接，而不是发完就等。
- 页面太浅。同一个主题写得又短又多，不如合并成一篇完整的。这个判断标准，和做内容时「一篇解决一个具体问题」是同一个逻辑。
这里有个很值得自动化的动作：让 Agent 定期生成「零内链页面」清单，并给出建议——哪篇旧文的哪个位置适合加一条指向新文的内链。这一步的收益往往比到处提交收录高得多。至于新内容的推送通道，站点地图与 RSS 是结构化输出的两条主线，RSS 信息聚合那一套 里讲过怎么组织。
五、主动推送：能做，但别越界
坐等爬虫来是最慢的策略，主动推送该做：
- 站点地图保持准确。只放该被收录的页面，已删除的及时移除，别塞进去一堆参数页和空白页。
- 用官方推送接口。百度和 Google 都提供站长平台侧的提交接口，新内容发布后推一次即可。注意有配额限制，别把额度浪费在不重要的页面上。
- 内链与聚合页。把同一主题的文章聚合成专题页并互链，这是最被低估、但也最稳的收录手段。
如果要把「抓站点数据」做成能力，接一个浏览器或联网搜索工具会更顺手，做法参考 OpenClaw 接浏览器 和 联网搜索怎么配。但要清楚一件事：抓取行为本身有边界，尤其是对方站点明确拒绝的情况下。爬虫被默认拦截之后怎么办 里有更完整的讨论，动手之前建议先看一眼。
六、把它做成一条周期流水线
诊断的价值在于「周期性」，一次性查完没有意义。建议这样固定下来：
- 频率：每周跑一次；新内容密集发布期提到每周两次。太频繁没意义，搜索引擎侧的数据更新也没那么快。
- 动作：拉取三路数据 → 生成收录底数表 → 与上期对比 → 输出三条结论（新增收录多少、未收录新增哪些、抓取异常变化）。
- 输出：固定格式的简报，推到邮箱或群里。格式和推送方式照 定时日报周报 那套配就行，不用重新发明。
- 告警：设阈值——比如「已收录数连续两周下降」或「未收录新增超过 20 篇」就提醒。这类异常往往意味着站点出了结构性问题，越早发现越好。
- 异常联动：发现抓取返回码异常升高，自动附上当天的访问日志片段，省掉一轮人工翻日志；发现有页面从「已收录」掉成「未收录」，单独列出来重点看。
顺手提一句：这套巡检和「盯住某个页面的内容变化」是两种不同的活，一个看收录状态、一个看页面本身，但它们的巡检节奏和告警阈值设计可以共用一套思路，定时盯网页变化 里的阈值与冷却做法可以拿来参考。
七、两条不能越的合规边界
第一，只走官方接口和低频抽样。能拿官方数据就不要去抓页面；必须抓的时候控制在低频、有限次的范围内，并且遵守对方的 robots 声明。用脚本刷几百次查询，短期看似拿到了数据，长期可能换来 IP 封禁，得不偿失。
第二，不碰「提权」手段。不绕验证码、不伪装身份、不刷量。收录问题的本质是「页面值不值得被收」，用非常规手段把页面塞进索引，即便短期有效也会被清洗，风险却由站点承担。这一点和抓取时的访问边界是同一个原则：自动化不等于可以无视对方的规则。
优缺点和适合人群
优点：把「只有出问题才想起来查」变成常规动作；技术侧问题能快速定位，避免在内容上白改；未收录清单和内链建议可以直接派工。
缺点：官方数据有一定延迟，别期待实时；「抓到不收」这类问题没有一改就好的答案，需要长期看趋势；抓取侧始终有合规约束，不能图省事。
适合：有稳定更新节奏的内容站、独立博客、企业官网。刚上线的站点尤其值得跑——早期把技术侧问题清掉，后面省很多事。
总结
把整条线压成五步：
- 先分类：抓不到 / 抓到不收 / 收了没排名，三种问题分开治。
- 拿底数：官方平台数据优先，site: 抽样补充，服务器日志做证据。
- 技术五查：robots、noindex、canonical、状态码与跳转、防火墙拦截。
- 内容四看：重复度、模板化、内链太少、页面太浅。
- 固定周期：每周跑一次，出简报，设阈值告警。
最后一句真话：收录是流量的前置条件，但它不是靠「催」出来的。把技术侧清干净、把每个页面做出该有的价值、让站内链接把你自己的页面连起来——这三件事做到位，收录是自然结果。诊断流水线的作用，是让你在它还没发生的时候就能看见。
