百度蜘蛛和谷歌蜘蛛的抓取行为有什么区别？

学完这篇，你能用 UA、双向 DNS、服务器日志和两个官方工具，判断百度蜘蛛与谷歌蜘蛛在抓取频率、JS 渲染、提交入口和规则支持上的区别，并避免误封。

第一步：验证蜘蛛身份，分清真假百度/谷歌蜘蛛

这一步要做什么：从日志中提取百度蜘蛛和谷歌蜘蛛请求，并用双向 DNS 验证真实身份；做完你会得到一份可信的抓取来源清单。

先在服务器执行：

grep -Ei "Baiduspider|Googlebot" /var/log/nginx/access.log | head -20

常见 UA 示例：

• 百度：Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
• 谷歌：Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

验证 Googlebot：先反查 IP，例如 dig +short -x 66.249.66.1，应返回 crawl-66-249-66-1.googlebot.com，再正向查 dig +short crawl-66-249-66-1.googlebot.com，应回到原 IP。百度蜘蛛也用同样逻辑，反查常见域名是 crawl.baidu.com。

注意：不要只看 UA 就放行或封禁。伪造百度蜘蛛、谷歌蜘蛛的 UA 很常见，必须做正向+反向 DNS。

第二步：看抓取频率和并发，判断谁更勤快

这一步要做什么：从日志统计单位时间请求数、状态码和并发；做完你能知道谷歌通常更积极，百度更依赖站点权重和主动提交。

grep -c "Googlebot" /var/log/nginx/access.log
grep -c "Baiduspider" /var/log/nginx/access.log
grep "Googlebot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c

官方入口：Google Search Console 左侧“设置”->“抓取统计信息”，看“按响应”“按用途”“按 Googlebot 类型”。百度搜索资源平台选择站点后，看“数据监控”->“抓取频次”和“站点管理”->“抓取诊断”。

注意：服务器大量返回 5xx 或 429，两边都会降频。谷歌更依赖抓取预算恢复，百度更依赖重新提交和抓取诊断。

第三步：测 JS 渲染和移动抓取差异

这一步要做什么：用官方工具看蜘蛛实际拿到的 HTML；做完你能判断页面是否需要 SSR 或预渲染。

Google：Search Console 顶部“网址检查”-> 输入 URL -> 点击“测试实际网址”-> 查看“已抓取的网页”-> 看 HTML 和屏幕截图。如果截图有内容、HTML 没有，说明依赖渲染。

百度：搜索资源平台 -> “站点管理”->“抓取诊断”-> 输入 URL -> 选择 PC 或移动 -> 点击“抓取”-> 看“抓取结果”里的 HTML。若核心内容为空，优先改服务端渲染。

注意：百度也支持部分 JS，但稳定性和覆盖率低于谷歌。核心内容别只靠客户端 JS 输出，更不要给两家蜘蛛返回不同内容。

第四步：对比发现和提交方式

这一步要做什么：分别用两家官方入口提交 URL；做完你能理解谷歌靠链接和 sitemap 发现，百度更吃主动提交。

Google：Search Console -> “索引”->“站点地图”-> 输入 sitemap.xml -> 提交。普通页面不要依赖 Indexing API，它只适合招聘、直播等特定结构化数据。

百度：搜索资源平台 -> “资源提交”->“普通收录”-> 用“API 提交”或“sitemap”提交。部分站点还有“快速收录”。

注意：百度 API 推送有配额；sitemap 提交不等于马上收录。

第五步：看 robots、canonical、nofollow 的差异

这一步要做什么：在 robots.txt 和页面标签上做兼容配置；做完你能避免误屏蔽。

Google 支持 robots.txt 里的 *、$，也支持 X-Robots-Tag；nofollow 被当作提示。百度同样支持通配符和 $，但对 nofollow 的处理更保守。验证入口：Google Search Console -> “设置”->“robots.txt 报告”；百度用“抓取诊断”看 robots 是否允许。

注意：测试环境写 Disallow: / 后别忘了上线前删除。canonical 要写绝对 URL，两家都认。

小结

• 身份验证：UA + 双向 DNS + 官方抓取诊断。
• 抓取频率：谷歌通常更积极，百度更依赖权重和主动提交。
• JS 渲染：谷歌成熟，百度优先 SSR/预渲染。
• 提交方式：谷歌看 sitemap 和链接，百度看 API、sitemap、快速收录。
• 规则兼容：robots、canonical、nofollow 两边都配，别做 cloaking。