为什么蜘蛛抓取很多但网站收录却很少？

学完这篇，你能按步骤查出“蜘蛛抓取很多但网站收录很少”的具体原因，并知道去哪些后台、用什么命令验证。

第一步：确认蜘蛛是否真的抓到有效页面

这一步要检查服务器日志或站长平台，得到“蜘蛛抓的是 200 正常页，还是 301、404、502 这类异常页”。

如果你用 Nginx，可在服务器执行：

tail -n 100000 /var/log/nginx/access.log | grep -Ei 'baiduspider|googlebot|bingbot'

重点看日志里的状态码。常见异常是：

200：抓取成功
301/302：跳转
404：页面不存在
410：页面永久删除
500/502/503：服务器错误

也可以手动测试一个 URL：

curl -I https://你的域名/具体页面.html

查看返回头中的状态码和 Location。

在 Google Search Console 中，入口是：设置 > 抓取 > 抓取统计信息，看“抓取时间”和“抓取异常”。
在百度站长平台中，入口是：数据监控 > 抓取诊断 和 抓取异常。

注意：蜘蛛抓取多，不代表页面有效。如果大量 301、404、5xx，网站会浪费抓取配额，收录也会变慢。

第二步：检查 robots.txt 和 noindex

这一步要确认页面是否被明确禁止索引，得到“是否因为规则导致不收录”。

先看 robots.txt：

curl -I https://你的域名/robots.txt
curl https://你的域名/robots.txt

常见禁止写法：

User-agent: *
Disallow: /

User-agent: Baiduspider
Disallow: /

再看具体页面 HTML 里是否有：

<meta name="robots" content="noindex">
<meta name="Baiduspider" content="noindex">

也可查看 HTTP 响应头：

curl -I https://你的域名/具体页面.html

重点看是否有：

X-Robots-Tag: noindex

注意：robots.txt 里的 Disallow 主要限制抓取，不一定等于禁止索引；但 noindex 会直接阻止收录。测试环境、后台目录、带参数的重复页面最容易误加 noindex。

第三步：检查站点地图和提交记录

这一步要确认新页面有没有被主动提交给搜索引擎，得到“收录少是不是因为没有通知蜘蛛”。

先测试 sitemap 是否能访问：

curl -I https://你的域名/sitemap.xml

返回状态码应为 200，Content-Type 通常类似：

application/xml

在 Google Search Console 中，入口是：索引 > 站点地图，查看 sitemap 是否提交成功、是否有读取错误。
在百度站长平台中，入口是：快速接入 > 站点地图 或 数据提交 > 主动推送。

注意：提交 sitemap 不等于一定会收录。它只是告诉搜索引擎“这里有一些页面值得看”。

第四步：排查重复内容和规范 URL

这一步要检查页面是否被判定为重复页，得到“收录少是不是因为搜索引擎只保留一个版本”。

重点检查三类问题：

1. 同一页面有多个 URL，例如：

https://example.com/page.html
https://example.com/page.html?from=seo
https://example.com/page/
https://www.example.com/page.html

1. 分页内容重复，例如列表页第 2 页、第 3 页正文几乎一样。

1. 栏目页、标签页、搜索结果页生成大量低价值页面。

可以在页面源码中检查 canonical：

<link rel="canonical" href="https://example.com/page.html">

在 Google Search Console 中，入口是：索引 > 网页索引 > 已编入索引的网页，查看哪些页面被收录、哪些页面因“重复内容”未收录。
在百度站长平台中，可看：数据监控 > 索引量，并对比抓取频率。

注意：canonical 指向错误会导致蜘蛛抓取很多页面，但搜索引擎只收录 canonical 指定的少数页面。

第五步：检查页面质量和内链入口

这一步要确认页面是否太薄或太难被发现，得到“收录少是不是因为页面质量低或孤立”。

如果页面只有几百字、大量广告、模板化标题、正文几乎重复，搜索引擎会降低收录优先级。

检查内链入口：首页、栏目页、文章页之间是否有链接。可以用 sitemap 或日志辅助判断：

grep -i 'href="/category/' index.html

也可以用搜索指令查看收录情况：

site:example.com

注意：没有内链入口的页面，即使 sitemap 提交了，也可能因为缺少权重传递而长期不收录。

小结

蜘蛛抓取多但收录少，通常不是单一原因。按顺序排查：

1. 查状态码：是否大量 404、5xx、跳转。
2. 查 robots 和 noindex：是否禁止索引。
3. 查 sitemap：是否提交、是否读取失败。
4. 查重复内容：canonical、参数 URL、分页是否混乱。
5. 查内容质量和内链：页面是否薄、是否孤立。

做完这五步，你基本能定位问题在服务器、规则、页面质量还是提交机制上。