改版或迁移时做收录批量查询,核心不是看“收录总数有没有涨”,而是核对新旧URL的对应关系是否被搜索引擎正确理解。具体要查四类信息:旧URL是否仍可访问、是否被301指向新URL、新URL是否被允许抓取、新URL是否已进入索引。时间和人手有限时,先处理返回200但内容已变、或返回404却没有跳转的URL,这两类最容易造成流量损失。
假设某站点把产品页从 /product/ 迁到 /p/,共2000个URL,只有一个人、两天时间。这时不要逐个在搜索引擎里输入URL查询,而应先用站点日志或爬虫工具拿到旧URL清单,再批量检查三项:HTTP状态码、跳转目标、目标页可抓取性。批量查询收录只是其中一步,前面两步没做,查出来的收录数据会误导判断。
常见错误是:只提交了新站点地图,就认为旧URL会自动消失、新URL会自动收录。站点地图不保证收录,它只是发现入口之一。另一个错误是robots.txt写了限制抓取,却以为这样等于把旧页面从索引中移除。抓取限制不等于可靠的索引移除,被限制抓取的页面仍可能因外链等原因留在索引里。
用一份表格把旧URL、新URL、预期状态码、实际状态码、跳转层数列出来。判断标准如下:
这一步能直接决定后面批量查询收录时该看哪些URL。映射表没对齐,查出来的“未收录”可能只是查错了目标地址。
收录批量查询的可用方式包括:搜索引擎站长平台提供的索引状态接口或批量查询功能、第三方爬虫工具、以及站内日志分析。不同搜索引擎的支持情况须分别核查,不能拿一个平台的结果推断另一个平台。查询时重点看三类结果:
如果站点已启用HTTPS,也要核对跳转链中是否存在HTTP到HTTPS再到新URL的多跳。HTTPS本身不保证安全无漏洞或排名,但迁移时协议跳转与目录跳转叠加,会增加出错概率。
按影响面排序,先做这三步:
判断是否继续投入的标准很简单:如果新URL已能被抓取、返回200、有内部链接指向,且旧URL已301到它,剩下的主要是等待索引更新,不需要反复提交。如果新URL本身返回404或被robots.txt阻止,那问题不在收录查询,而在抓取和状态码层面,应先修那里。
下一步:导出旧URL清单,按“有外链或历史流量”筛出第一批,逐条核对状态码与跳转目标,再把这批URL的新地址拿去批量查询收录状态。