移动端蜘蛛和 PC 端蜘蛛抓取有什么区别？

学完这篇，你能分清移动端蜘蛛和 PC 端蜘蛛在 User-Agent、抓取对象、索引权重和验证工具上的区别，并能在服务器日志和站长平台里亲手查证。

第一步：认清 User-Agent，知道来的是谁

这一步你要在请求头或日志里认出移动蜘蛛和 PC 蜘蛛，做完能得到两条明确的匹配关键词。不要背完整 UA，因为官方会更新，只记关键特征即可。

百度 PC 蜘蛛常见 UA 里包含 Baiduspider/2.0，且通常不带 Mobile；百度移动蜘蛛常见 UA 里同时包含 Baiduspider 和 Mobile。

Google PC 蜘蛛常见 UA 包含 Googlebot/2.1，且通常不含 Mobile；Google 移动蜘蛛 UA 包含 Googlebot/2.1 和 Mobile，例如：

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

注意：别用完整 UA 做白名单，Googlebot 和 Baiduspider 都会更新版本号。用 Googlebot、Baiduspider、Mobile 做组合判断更稳。

第二步：理解抓取对象和索引策略的区别

这一步你要搞清两者到底抓什么页面、以谁为准，做完能决定网站该用响应式还是独立移动站。

PC 蜘蛛主要抓桌面版 URL，例如 https://www.example.com/page。移动蜘蛛主要抓移动版 URL，例如 https://m.example.com/page，如果网站是响应式，则移动蜘蛛和 PC 蜘蛛访问同一个 URL，只是视口和渲染方式不同。

Google 已经实行移动优先索引，意思是 Google 主要用移动版内容来收录和排名。百度也早已移动优先。所以移动版不能缺内容、不能少标题、不能把正文藏起来。

如果你用独立移动站，PC 页要加：

<link rel="alternate" media="only screen and (max-width: 640px)" href="https://m.example.com/page">

移动页要加：

<link rel="canonical" href="https://www.example.com/page">

注意：不要用 JS 判断 UA 后跳转。搜索引擎可能认为你在做 cloaking。优先用响应式，或者用 301/302 配合双向标注。

第三步：在服务器日志里查移动蜘蛛和 PC 蜘蛛

这一步你要从访问日志里分别统计两类蜘蛛，做完能看出移动蜘蛛是否被正确响应。

Nginx 默认日志常在 /var/log/nginx/access.log，Apache 常在 /var/log/apache2/access.log 或 /var/log/httpd/access_log。

查 Google 移动蜘蛛：

grep -i "Googlebot" /var/log/nginx/access.log | grep -i "Mobile"

查 Google PC 蜘蛛：

grep -i "Googlebot" /var/log/nginx/access.log | grep -vi "Mobile"

查百度移动蜘蛛：

grep -i "Baiduspider" /var/log/nginx/access.log | grep -i "Mobile"

再看状态码分布：

awk '{print $9}' /var/log/nginx/access.log | sort | uniq -c

如果移动蜘蛛大量出现 404、301 循环或 403，说明移动端适配有问题。

注意：日志格式不同，状态码列可能不是第 9 列。先用 head -1 /var/log/nginx/access.log 看格式。

第四步：用站长平台验证抓取结果

这一步你要在 Google Search Console 和百度搜索资源平台里分别测试移动端与 PC 端，做完能看到真实抓取截图和状态。

Google Search Console：登录后左侧点“设置”->“爬网统计信息”->“按 Googlebot 类型”，可查看 Smartphone 和 Desktop 的抓取量。顶部搜索框输入 URL，点“测试实际网址”，右侧点“查看抓取的页面”，右上角可切换“智能手机”和“桌面”。

百度搜索资源平台：进入 zi.baidu.com，左侧“普通收录”->“抓取诊断”，选择“PC端”或“移动端”，输入 URL 后点“抓取”。如果账号里还能看到“移动适配”，在“搜索服务”->“移动适配”提交规则；看不到就优先做响应式。

注意：抓取诊断显示“抓取成功”不代表内容一定被索引，还要看移动版正文是否和 PC 版一致。

第五步：本地模拟测试和常见坑

这一步你要用命令行和浏览器模拟两种蜘蛛，做完能快速发现返回内容差异。

模拟 Google 移动蜘蛛：

curl -I -A "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://www.example.com/

模拟 Google PC 蜘蛛：

curl -I -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" https://www.example.com/

Chrome 120+ 可按 F12，点左上角设备图标“Toggle device toolbar”，选择 iPhone 14 Pro 后刷新，查看网络请求和页面布局。但这只是模拟，不是真蜘蛛。

注意：移动端蜘蛛和 PC 端蜘蛛最大的坑是“移动版内容更少”。标题、正文、结构化数据、内链都要尽量对齐。另外，robots.txt 通常对两类蜘蛛共用，不要误封移动目录。

小结

• 移动蜘蛛 UA 常带 Mobile，PC 蜘蛛通常不带，但别硬编码完整 UA。
• Google、百度都以移动优先索引为主，移动版内容必须和 PC 版基本一致。
• 响应式用同一 URL 最省事；独立移动站要配 alternate 和 canonical。
• 用 grep 查日志、用 Search Console 和百度抓取诊断验证真实抓取。
• 不要按 UA 做 JS 跳转或隐藏内容，容易被判定为 cloaking。