如何分析蜘蛛对分页和标签页的抓取偏好？

读完这篇，你能学会用日志和搜索结果验证蜘蛛到底愿不愿意爬你的分页、标签页，并据此决定该保留、合并还是屏蔽哪些页面。

第一步：先搞清楚蜘蛛对这两类页面的默认态度

这一步要让你明确一个前提：分页页和标签页在搜索引擎眼里价值不同，先建立判断基准，再看数据。

分页页（如 /list?page=2）通常被当作主列表页的延伸，蜘蛛会爬，但给权重很低，容易被判为重复内容。标签页（如 /tag/SEO）如果内容聚合质量高，可能被当成独立入口页；如果只是把已有文章罗列一遍，基本就是低质重复页。

注意：不要凭感觉判断，同样结构的标签页，聚合文章多的和只有两三篇的，收录率能差好几倍。

第二步：从服务器日志里提取蜘蛛抓取记录

这一步要拿到真实抓取数据，结果是一张「蜘蛛访问了哪些 URL、访问频次多少、返回什么状态码」的清单。

登录服务器，找到 access log（Nginx 一般在 /var/log/nginx/access.log，Apache 在 /var/log/httpd/access_log）。执行：

grep -i "baiduspider\|googlebot" /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn > spider_urls.txt

把 $7 换成你日志里 URL 所在的列。日志量大时按天切割，再合并统计。

得到结果后，重点看三件事：

• 分页 URL（含 page=）被访问了多少次；
• 标签页 URL（含 /tag/）被访问了多少次；
• 这些 URL 返回的是 200 还是 404、301。

注意：日志默认会滚动删除，先确认你查的日期范围完整，否则统计会严重偏低。

第三步：用站长平台交叉验证抓取和收录

这一步是核对日志结论，避免只看日志漏掉实际收录情况。

百度搜索资源平台的入口是「数据监控 → 抓取频次」和「数据监控 → 抓取诊断」，能看到蜘蛛对整站的抓取总量趋势。Google 用 Search Console 的「设置 → 抓取统计信息」和「网址检查」。

更直接的方法是用 site: 查询：

• 在搜索引擎输入 site:你的域名 inurl:page，看分页被收录多少；
• 输入 site:你的域名 inurl:tag，看标签页被收录多少。

再对照「页面」报告里的「已编入索引 / 已发现但未编入索引」，如果标签页大批停留在「已发现但未编入索引」，说明蜘蛛爬了但不收。

第四步：判断偏好并做出处置

这一步根据前两步数据下结论，得到具体改动动作。

常见三种结论和对应做法：

1. 分页被抓但收录少：保留分页，给每页加 rel="next" rel="prev"（Google 已不依赖，但百度仍参考），确保列表页第一页有独立标题和简介。
2. 标签页几乎不被抓，或抓了大量返回 404：如果标签页文章数少于 5 篇，直接不给入口，在 robots.txt 加 Disallow: /tag/，或对空标签页返回 404。
3. 标签页被抓且收录好：说明它是有效入口，保留并在页面上加独立 TDK，别用模板批量生成重复标题。

注意：robots.txt 的 Disallow 只是禁止抓取，不保证已被收录的页面立刻消失，要配合返回 410 或 noindex 标签才能加速清理。

第五步：验证调整效果

这一步是两周到一个月后的复盘，确认改动是否被蜘蛛接受。

重新跑第二步的日志统计命令，对比调整前后标签页、分页的抓取次数变化；再看站长平台「抓取频次」曲线和 site: 收录数。抓取次数下降且收录数稳定，说明屏蔽低质页没有误伤；抓取次数和收录数同时上升，说明该页确实是蜘蛛偏好的内容。

小结

• 分页和标签页在蜘蛛眼里权重不同，判断前先建立基准。
• 核心依据是服务器日志的真实抓取记录，不是猜测。
• 用站长平台抓取频次和 site:inurl: 查询做交叉验证。
• 低质标签页果断屏蔽，优质标签页单独做 TDK 保留。
• 调整后必须复盘抓取次数和收录数的变化，确认没有误伤。