爬虫日志分析：怎样排除缓存造成的假象 - 短横线副题识别真实抓取

📍 WDQWDWQD987AAAAA:216.73.216.184
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /81e72ee09589.html
📄

爬虫日志分析：怎样排除缓存造成的假象 - 短横线副题识别真实抓取

排除缓存造成的假象，核心做法是先把日志中的请求分成两类：真正到达源站并触发内容读取的请求，以及由CDN、反向代理、浏览器或抓取端缓存直接返回的请求。只有前者才能用来判断搜索引擎爬虫是否抓取了最新内容。如果日志里看到某URL状态码正常、响应体积正常，但源站访问日志没有对应记录，或者记录的时间与缓存刷新时间高度重合，就要优先怀疑缓存。

先确认日志采集点在哪里

爬虫日志分析的第一步不是看User-Agent，而是确认这份日志来自哪一层。源站Nginx或Apache日志记录的是穿透缓存后的请求；CDN边缘日志记录的是用户或爬虫与边缘节点的交互；负载均衡日志可能同时包含回源和命中缓存的记录。采集点不同，同一爬虫的同一URL会出现完全不同的结果。

判断方法：拿一个已知被访问过的URL，分别查CDN日志和源站日志，看同一时间窗口内是否都有记录。只有源站有记录，说明该请求穿透了缓存；只有CDN有记录，说明可能命中了缓存。

用缓存命中标识和回源标识交叉验证

很多CDN和反向代理会在响应头或日志字段中提供缓存状态，例如X-Cache、CF-Cache-Status、Age、Via等。这些字段的含义因服务商和配置而异，不能只看字段名就下结论。可执行的检查步骤是：

  1. 在日志中筛选目标爬虫的User-Agent，例如包含Baiduspider或Googlebot的记录。
  2. 查看同一URL在短时间内是否出现多次请求，且响应体积完全一致、状态码一致。
  3. 对照响应头中的Age值：如果Age大于0，说明该响应来自缓存，已经存放了一段时间。
  4. 查看X-Cache或类似字段，若显示HIT，则该次请求很可能没有回源；若显示MISS或BYPASS，才更接近源站真实响应。

适用条件：这些字段只在CDN或代理正确配置并写入日志时可用。如果日志中没有这些字段，就不能靠猜，应改用源站与边缘日志比对的方法。

对比时间戳与内容更新时间

缓存造成的假象常表现为：日志显示爬虫抓取了某个URL，但抓取到的仍是旧版本。判断依据是内容更新时间与日志请求时间的先后关系。

这里要区分“可能原因”和“已经定位的原因”。日志时间与更新时间接近，只能说明缓存嫌疑较大，不能单独证明就是缓存导致。还需要结合回源记录、缓存状态字段和响应内容版本一起判断。

做一次主动回源验证

当怀疑缓存干扰时，可以主动构造一次不带缓存标识的请求，观察源站是否返回最新内容。例如在允许的前提下，用命令行工具直接请求源站IP并带上目标域名，绕过CDN：

curl -H "Host: example.com" http://源站IP/目标路径

如果源站返回的是最新内容，而通过CDN域名访问返回旧内容，说明缓存层确实在提供旧版本。如果源站也返回旧内容，问题就不在缓存，而在发布流程、数据库或页面生成环节。这个步骤的代价是需要知道源站地址，并且可能受防火墙或访问控制限制；不适合在生产环境高频执行。

根据证据选择处理方向

完成上述检查后，决策路径比较清晰：

需要提醒的是，robots.txt的抓取限制不等于可靠的索引移除，站点地图也不保证收录。缓存排查解决的是“日志看到的抓取是否真实”这一问题，不解决收录和排名本身。

下一步：选一个近期更新过的URL，分别导出CDN日志和源站日志中同一时间窗口的记录，按上述字段做一次比对，确认最近一次爬虫请求到底有没有回源。

图1 图2
nginx