网站改版后蜘蛛抓取异常怎么排查？

学完这篇，你能按一套固定顺序排查网站改版后搜索引擎蜘蛛抓取异常的问题，并定位到具体是哪个环节把蜘蛛挡在了门外。

网站改版后抓取量突然掉到零、或者蜘蛛只爬首页不进内页，绝大多数不是"被降权"，而是改版时某一道门被关上了。下面按从外到内的顺序排查，每一步都能排除一类原因。

第一步：确认蜘蛛到底来没来

这一步要拿到"蜘蛛请求日志"这个事实依据，而不是靠猜。登录服务器，打开 Nginx 访问日志（默认路径 /var/log/nginx/access.log），执行：

grep -i "baiduspider\|googlebot\|bingbot" /var/log/nginx/access.log | tail -n 50

如果一条都没有，说明请求根本没到你的服务器，问题在 DNS、CDN 或防火墙层，直接跳到第三步。如果有记录但全是 403、404、500，说明蜘蛛来了但被拒绝，继续往下看。

注意：如果站点套了 CDN，源站日志里看到的可能是 CDN 回源 IP 而不是蜘蛛 IP，要看 CDN 控制台里的访问日志，或者先确认回源日志已开启。

第二步：检查 robots.txt 和 meta 标签

这一步排除最常见的"自己把自己封了"。改版时新环境常带着测试用的 robots.txt 一起上线，把全站屏蔽了。

浏览器直接访问 https://你的域名/robots.txt，检查有没有这两行：

User-agent: *
Disallow: /

有的话删掉，改成允许抓取。同时用浏览器打开首页，按 F12 看 <head> 里有没有：

<meta name="robots" content="noindex,nofollow">

有 noindex 就是告诉搜索引擎"别收录我"，必须删掉。

注意：robots.txt 改完不是立刻生效，搜索引擎会缓存一段时间，Google 通常在几小时到一天内重新读取，百度更慢。

第三步：确认 DNS、CDN 和防火墙放行

这一步解决"请求到不了服务器"的问题。在站长平台用"抓取诊断"功能测试，或用命令模拟：

curl -I -A "Baiduspider" https://你的域名/

返回 200 才算通。如果返回 403，检查云服务商的安全组、WAF（Web 应用防火墙）是否开启了"Bot 防护""CC 防护"之类的开关——这类功能常把正常蜘蛛也一起拦了。宝塔面板用户到「网站 → 设置 → 网站防火墙」里看拦截日志。

如果改版时换过服务器或 CDN，还要确认域名解析已指向新 IP。

第四步：检查 URL 结构和跳转

这一步解决"蜘蛛进来了但找不到内页"。改版最容易出问题的是 URL 规则变了却没做 301 跳转：旧链接全部 404，新链接又没提交，蜘蛛就卡在首页。

逐条检查：

1. 旧 URL 是否 301 到新 URL，用 curl -I https://你的域名/旧路径 看状态码是不是 301；
2. 不要用 302 或 JS 跳转代替 301，搜索引擎对这两者传递权重很差；
3. 新站点的 sitemap.xml 是否已生成，并在站长平台提交，路径通常是 /sitemap.xml；
4. 页面里的内链是否还是旧地址，全站搜一遍旧域名。

注意：改版后至少要保留旧 URL 的 301 跳转半年以上，等新链接被充分收录再考虑撤掉。

第五步：在站长平台提交并观察

这一步把前面修好的结果主动告诉搜索引擎。百度搜索资源平台进「普通收录 → sitemap → 添加」，提交 sitemap 地址；再用「普通收录 → 手动提交」把首页和重要栏目页推一遍。Google 用 Search Console 的「网址检查 → 请求编入索引」。

提交后连续观察 3 到 7 天的抓取统计曲线，正常情况是逐步回升而不是立刻恢复。

小结

• 先看日志确认蜘蛛来没来、被什么状态码挡住，再谈其他
• robots.txt 的 Disallow: / 和页面的 noindex 是改版后最高频的两个坑
• CDN、WAF、安全组的 Bot 防护常误杀正常蜘蛛，要单独确认
• 旧 URL 必须 301 到新 URL，保留至少半年，别用 302 或 JS 跳转
• 修完后主动提交 sitemap，抓取恢复有延迟，观察一周再判断