采集站大量抓取会给网站带来哪些损失？

结论：采集站大量抓取对网站造成的损失是三层叠加的——直接烧钱（带宽和服务器成本翻倍）、直接掉体验（真实用户被拖慢甚至打不开）、间接掉排名（抓取预算被占用、原创内容被搬运抢排名）。它不只是"多几个人访问"，而是一次持续性的资源挤兑。

采集站抓取到底吃掉了多少资源？

结论：采集站消耗的不是"访问量"，而是带宽、CPU 和数据库连接这三样硬资源，且量级通常是真实用户的数倍。

一个真实用户打开一篇图文页，通常是 1～3 MB 流量、1 次 HTML 请求加上 20～60 次静态资源请求，浏览器还会缓存，翻页时资源不再重复拉取。而采集站不一样：它只抓 HTML，不加载 CSS、JS、图片，看起来"省"，但它抓的是页数，而且是翻页式、无节制的批量抓。一个中等规模的采集站，用几十台云主机轮换 IP，单站一天对同一目标发出 10 万次以上请求是常见量级。

后果很直接：源站带宽被占满后，真实用户的首屏时间从 1 秒涨到 5 秒以上；PHP-FPM 进程池或数据库连接池被打满后，返回的是 502 / 504。按量计费的 CDN 或对象存储流量费，会在账单上直接体现——流量翻 3 倍，钱就翻 3 倍。

采集站抓取对 SEO 有什么实际影响？

结论：会挤占搜索引擎的抓取预算（crawl budget，指搜索引擎在单位时间内愿意在你站上抓取的页面数量），并让原创内容因为"被更早收录"而丢掉排名。

搜索引擎给每个站点的抓取配额是有限的。当大量 IP 高频抓取你的页面时，你的服务器响应变慢，搜索引擎爬虫访问同样变慢、超时率上升，它会主动降低抓取频率。结果是：你新发布的文章，收录时间从 1 天变成 3～7 天。

更麻烦的是内容层面。采集站抓取后往往几分钟内就发布，且它的站点权重可能不低，搜索引擎先抓到它、后抓到你，你的原创页在它眼里反而成了"重复内容"。这时候要做的是给原创页补上 canonical 标签，并在被抓取的页面首次发布时主动提交 sitemap 加速收录。

怎么判断自己正在被采集站抓取？

结论：看访问日志里的"单 IP 请求量"和"User-Agent 集中度"，这两个指标最直接。

服务器上执行：

awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20

如果前 20 个 IP 里，有 IP 一天请求超过 5000 次，基本可以确定是采集站或扫描器。

再看 User-Agent 分布：

awk -F'"' '{print $6}' access.log | sort | uniq -c | sort -rn | head -20

典型特征有三条：一是同一 UA 占比超过 30%；二是这些请求不带 Referer、不请求静态资源；三是请求间隔非常规律，比如固定每 0.5 秒一次。真实用户的行为是随机、跳跃、带资源请求的。

防采集的具体做法有哪些？

结论：按"声明—限速—拦截"三层来配，纯靠封 IP 效果最差。

第一层，robots.txt 声明。写上 Crawl-delay 和 Disallow 规则，对守规矩的爬虫有效，对采集站基本无效，但成本为零，必须写。

第二层，Nginx 层限速。在 http 块加：

limit_req_zone $binary_remote_addr zone=perip:10m rate=10r/s;
limit_conn_zone $binary_remote_addr zone=connperip:10m;

在 server 块加：

limit_req zone=perip burst=20 nodelay;
limit_conn connperip 15;
limit_req_status 429;

含义是：单 IP 每秒最多 10 个请求，突发允许 20 个，超出直接返回 429（请求过多）状态码。这个参数对正常用户完全无感，因为一个真人几乎不可能每秒点 10 次。

第三层，接入 CDN 或 WAF，开启人机验证和速率规则。对高频 IP 段返回 429 并附上 Retry-After 头，让合规爬虫退避。同时对登录后可见的内容做分页限制，比如列表页最多翻 50 页。

补充一条：采集往往和漏洞扫描同时发生。日志里如果出现大量 404 且路径是 /wp-admin、/.env、/phpmyadmin，说明对方不只是采集，要一并封禁。

收尾

采集站抓取的损失可以拆成三笔账：带宽和服务器成本翻倍、真实用户访问超时、搜索引擎抓取预算和原创排名被抢。判断看日志里的单 IP 请求量和 UA 集中度，处理按 robots.txt 声明、Nginx 限速返回 429、CDN/WAF 人机验证三层走，rate=10r/s、burst=20、limit_conn 15 是一组对真人无感、对采集有效的起步参数。