网站上线后没有收录怎么办？

网站上线后迟迟没收录，99% 的情况不是「被搜索引擎惩罚了」，而是抓取被自己挡住、或站点根本没被发现——按「先排查屏蔽，再主动提交，最后等着看日志」三步走，多数站点能在 3-30 天内进索引。

第一步：先确认是不是被自己的配置挡住了？

结论：收录问题的第一排查项永远是 robots.txt 和页面级 noindex，这两项能解释绝大多数「上线即消失」。

具体做法是打开 https://你的域名/robots.txt，检查有没有 Disallow: / 这样的全站屏蔽；有些 CMS 在测试环境写的屏蔽规则被直接带到线上，这是最典型的翻车点。同时用浏览器「查看网页源代码」，搜 noindex，确认没有 <meta name="robots" content="noindex"> 或 nofollow；HTTP 响应头里的 X-Robots-Tag: noindex 同样会屏蔽收录，页面上看不出来。

再用命令行确认服务器返回正常：

curl -I https://example.com

期望看到 HTTP/2 200。如果是 301 跳到别处、304 缓存异常、403 被 WAF 拦、或者 5xx 报错，爬虫抓到的就是无效内容，自然不入库。国内服务器还要确认域名已完成 ICP 备案，未备案的站点在百度侧基本不会被正常收录。

第二步：怎么让搜索引擎知道你的站点存在？

结论：光有 sitemap 不够，还要用站长平台主动「告知 + 推送」，被动等待收录是最慢的路径。

先在服务器日志里确认爬虫到底来没来：

tail -f /var/log/nginx/access.log | grep -iE "Baiduspider|Googlebot|bingbot"

如果没有爬虫记录，说明它根本没发现你，此时要做的三件事是：

1. 生成 sitemap.xml 并在百度搜索资源平台、Google Search Console、Bing 站长工具里提交，同时提交首页 URL 触发首次抓取；
2. 使用百度普通收录的 API 推送接口，把新 URL 主动推给百度，配额按站点质量分配，新站通常每天几十到几百条；
3. 从已被收录的外部页面（比如你已有的老站、知乎/掘金等高权重平台的个人主页）放一条指向新站的链接，让爬虫顺着链接爬过来。

site:你的域名 这条指令可以用来查收录进度：百度、Google、Bing 都支持，返回 0 条就是还没收录，返回结果数远小于实际页面数就是只收录了一部分。

第三步：提交了还是不收录，问题出在哪？

结论：提交后被拒收，通常是内容质量、站点结构和抓取频次三类原因，要分开处理。

内容层面，同一批模板生成的、正文不足 200 字的页面，搜索引擎判定为低质，会直接丢弃不入库；采集站、镜像站同样如此。结构层面，检查所有页面能否从首页通过不超过 4 次点击到达，孤岛页面（没有任何内链指向）几乎不会被收录，给它们从列表页或相关推荐位加内链是最有效的补救。抓取层面，如果是大量页面集中上线，爬虫预算（crawl budget，即搜索引擎愿意为你的站点投入的抓取次数）会被摊薄，建议分批发布，每天 10-50 个新页面，而不是一天丢 5000 个。

另外注意别把爬虫一起挡了：Cloudflare、宝塔防火墙、CDN 的「防爬虫」开关如果按 UA 拦截，可能误伤 Baiduspider 和 Googlebot，可以在防火墙里把这些官方 UA 加白名单。

时间预期与收尾

新域名从上线到首次被抓取通常需要 24-72 小时，进入索引则要 7-30 天，百度对新站的考察期会比 Google 更长，1-4 周没有收录属于常见区间，不需要反复删站重建。整条排查链路是：确认 robots.txt 和 noindex 没有屏蔽 → curl 确认返回 200 → 提交 sitemap 并用 API 主动推送 → 日志验证爬虫来访 → 补内链、控发布节奏 → 用 site: 指令跟踪结果。真正的坑基本都在前两步，先把「门」打开，再谈优化。