搜狗网站收录改版或迁移时应核对什么：先定收录基线再动结构
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /b7f257205b26.html
📄
搜狗网站收录改版或迁移时应核对什么：先定收录基线再动结构
改版或迁移前，先在搜狗完成一次“收录基线”核对：用站点指令和后台数据记录当前已收录的URL数量与代表性页面，再决定哪些URL必须保留、哪些可以合并或删除。如果跳过这一步，改版后收录波动时你将无法判断是结构变更导致，还是原本就未被收录。对多人协作的项目，基线记录也是交接和验收的共同依据，能显著减少返工。
先明确：哪些页面必须保住收录
不是所有页面都值得迁移。按业务价值和现有收录情况分三类处理：
- 必须保留：已有搜狗收录、且带来访问或转化的栏目页、产品页、文章页。这些URL优先做301跳转到新地址，并保持内容主题一致。
- 可以合并：内容高度重复、长期未被收录的页面。合并到相近页面，避免迁移后产生大量低质新URL。
- 直接删除：过期活动页、测试页。删除时返回410或404，不要全部跳转到首页——这会造成软404，反而影响判断。
判断依据来自实际核对，而不是猜测。在搜狗搜索框输入 site:你的域名 可查看大致收录范围，但结果只是参考值，需与服务器日志中搜狗蜘蛛（Sogou web spider）的抓取记录交叉验证。
URL 映射表是迁移的核心交付物
多人协作最容易出问题的地方，是“谁改了哪个URL”没有记录。迁移前必须产出一张映射表，至少包含四列：旧URL、新URL、处理方式（301/410/保留）、负责人。这张表就是验收清单。
核对要点：
- 每条旧URL都有唯一去向，不允许一个旧地址对应多个新地址。
- 301跳转应直达最终页面，避免A→B→C的多级跳转，蜘蛛可能中途放弃。
- 跳转后新页面内容与旧页面主题相关。把旧产品页跳到首页，属于不相关跳转，收录可能丢失。
- 迁移完成后抽查：用
curl -I 旧URL查看返回状态码是否为301，以及Location是否指向预期地址。
robots.txt、站点地图与抓取权限的核对
改版期间最常见的失误，是测试环境用的 robots.txt 被同步到线上，导致整站被禁止抓取。核对方法很直接：
- 在浏览器访问
你的域名/robots.txt，确认没有误写Disallow: /。 - 确认新站点地图（sitemap）地址可访问，且只包含希望被收录的URL。
- 注意：站点地图只是提交线索，不保证收录；robots.txt 中禁止抓取也不等于页面会从索引中移除，两者作用不同，不能互相替代。
如果确实需要移除已收录页面，应使用页面级的 noindex 或搜狗站长平台提供的移除工具，而不是仅靠 robots.txt 屏蔽。
HTTPS、域名与协作分工的检查项
若迁移同时涉及协议或域名变更（如 HTTP 转 HTTPS、换主域名），需要额外核对：
- 证书是否覆盖所有子域，是否存在混合内容（页面内仍引用 HTTP 资源）。
- 旧域名与新域名是否都能正常解析，301是否从旧域名统一指向新域名。
- HTTPS 只是传输层加密，不代表页面无漏洞，也不保证排名提升，不要把它当作收录的充分条件。
协作层面，建议指定一人负责映射表维护，一人负责线上验证，避免多人同时改动跳转规则。交付物包括：映射表、robots.txt 与站点地图确认截图、抽查状态码记录。
改版后的观察与回退判断
上线后不要立刻下结论。搜狗重新抓取和更新索引需要时间，期间收录数上下波动属于常见现象。观察期内重点看两件事：服务器日志中搜狗蜘蛛是否仍在抓取新URL；核心页面的搜索展现是否稳定。
如果发现大量旧URL返回404而非301，或新URL长期未被抓取，优先排查跳转配置和robots限制，而不是急于再次改版。保留一份改版前的基线记录，就是回退和对比的依据。
下一步：把上面的核对项整理成一张迁移检查表，在改版前完成基线记录，上线后按同一张表逐项验证，再决定是否需要调整。
