为什么百度蜘蛛只抓首页不抓内页？

学完这篇你能得到：一套从日志、robots、页面标签到百度搜索资源平台的排查顺序，能定位百度蜘蛛只抓首页不抓内页的原因，并知道先改哪里。

第一步：先用服务器日志确认“只抓首页”是否真实存在

这一步要拿到百度蜘蛛最近抓了哪些 URL，避免凭感觉判断。登录服务器，在 Nginx 日志目录执行：

tail -n 500 /var/log/nginx/access.log | grep -i "Baiduspider" | awk '{print $7}' | sort | uniq -c | sort -rn | head -50

如果是 Apache，把路径换成 /var/log/apache2/access.log。结果里如果只有 /、/index.html，说明蜘蛛确实没进内页；如果已有内页 URL 但没收录，问题在索引和质量，不在抓取入口。

注意：百度蜘蛛 UA 不只有 Baiduspider，还有 Baiduspider-render，排查时先不要只匹配一个词。

第二步：检查 robots.txt 有没有误封内页

这一步要确认百度蜘蛛被允许抓内页。浏览器打开 https://你的域名/robots.txt，重点看有没有：

Disallow: /
Disallow: /article/
Disallow: /*?

也可以用命令模拟百度蜘蛛读取：

curl -A "Baiduspider" https://你的域名/robots.txt

发现误封就删掉对应规则。百度搜索资源平台左侧进入“站点管理 > robots”，可用“robots 检测”输入内页 URL 测试。

注意：不要为了省流量屏蔽 /css/、/js/、/images/，否则百度渲染页面时可能看到空白内容。

第三步：检查页面有没有 noindex、nofollow 或 canonical 指错

这一步要确认内页本身允许收录。用 Chrome 120 以上按 F12，切到“Network”，刷新内页，点第一个 Doc 请求，查看 Response Headers 是否有：

X-Robots-Tag: noindex

再看 HTML 源码里是否有：

<meta name="robots" content="noindex,nofollow">
<link rel="canonical" href="https://你的域名/">

如果有 noindex 就删除；如果 canonical 指向首页，改成内页自己的 URL。

注意：canonical 全部指向首页，是内页不收录的高频原因，百度会认为内页只是首页副本。

第四步：在百度搜索资源平台提交 sitemap 和 URL

这一步给百度蜘蛛明确的内页入口。登录百度搜索资源平台（ziyuan.baidu.com），左侧点“普通收录 > sitemap”，填入：

https://你的域名/sitemap.xml

再进“普通收录 > 资源提交”，手动提交几个重要内页 URL，或使用 API 推送。sitemap 里只放返回 200、允许抓取、不是 noindex 的页面。

注意：sitemap 里混入 404、301、带 noindex 的链接，会降低百度对 sitemap 的信任。

第五步：检查内链入口和点击深度

这一步确认蜘蛛能不能从首页爬到内页。用 Screaming Frog SEO Spider 免费版抓取网站，看 Crawl Depth 和 Inlinks 两列。重点内页最好在首页 3 次点击内到达。然后到百度搜索资源平台“抓取诊断”，输入内页 URL，点“抓取”，看返回状态和源码是否正常。

注意：栏目列表、相关推荐、面包屑要用真实 <a href="...">，不要只用 onclick 或 iframe，否则蜘蛛可能看不到链接。

第六步：检查服务器、CDN 和防火墙是否拦截百度蜘蛛

这一步排除“蜘蛛来了但被挡”。执行：

curl -I -A "Baiduspider" https://你的域名/内页地址.html

正常应返回 HTTP/1.1 200 OK。如果出现 403、503、验证码、跳转登录，检查安全组、宝塔防火墙、Cloudflare。Cloudflare 后台进“安全性 > WAF > 自定义规则”，确认没有对 Baiduspider 做 Challenge 或 Block。

注意：如果开了 Cloudflare Bot Fight Mode，可能把百度蜘蛛当机器人拦截，表现就是只抓首页、不抓内页。

第七步：看抓取频次和索引量，给内页一点时间

这一步判断修复后有没有改善。百度搜索资源平台左侧进“数据监控 > 抓取频次”“数据监控 > 抓取异常”，再进“搜索展现 > 索引量”。新站或低权重站，内页抓取通常要 1 到 4 周。期间保持首页和内页稳定更新，不要频繁改模板、批量采集、制造重复内容。

注意：抓取频次低时，先增加首页到内页的真实链接和 sitemap，不要反复提交同一批 URL。

小结：百度蜘蛛只抓首页不抓内页，优先按“日志确认 → robots 放行 → 页面 noindex/canonical 检查 → sitemap 提交 → 内链深度 → 服务器/CDN 拦截 → 抓取频次”排查。多数问题出在 robots 误封、canonical 指首页、内链不可爬、CDN 拦截百度蜘蛛这四类。