海洋CMS如何防止被采集？防爬虫与IP限制策略

海洋CMS防采集最有效的做法，是把拦截放在 Nginx 与 CDN 层，用「请求频率限制 + UA/Referer 校验 + 蜜罐链接 + IP 封禁」四件事组合，而不是指望 CMS 后台里某个一键开关。下面这套配置全部作用在 Web 服务器层，不依赖 CMS 版本差异，换任何 PHP 站点都能直接照搬。

为什么海洋CMS防采集要放在服务器层做？

结论：采集器的请求和正常用户请求在 HTTP 层面没有本质区别，只有在服务器层才能看到 IP、UA、请求频率这三个可判定特征。

CMS 后台能做的事情有限，因为它拿到的信息就是一条已经到达 PHP 的请求。而 Nginx 在请求进入 PHP 之前就能拒绝掉，不消耗 PHP 进程和 MySQL 查询，成本低一个量级。判断逻辑写在 Nginx 里，即使 CMS 升级换版本也不会失效。

判定采集器主要看三个信号：同一 IP 在 60 秒内请求次数超过 30 次；请求路径集中在列表页和内容页且没有加载 CSS/JS 静态资源；UA 字符串里出现 python-requests、scrapy、curl、wget、Go-http-client 这类非浏览器标识。

Nginx 限速具体怎么配置？

结论：用 limit_req_zone 做基于 IP 的漏桶限速，阈值建议设在每分钟 30 次请求。

在 nginx.conf 的 http 块中加入：

limit_req_zone $binary_remote_addr zone=cmslimit:10m rate=30r/m;

$binary_remote_addr 是客户端 IP 的二进制形式，比字符串形式省内存；10m 共享内存可存约 16 万个 IP 的限速状态。然后在站点 server 块里：

location / {
    limit_req zone=cmslimit burst=10 nodelay;
    limit_req_status 429;
}

rate=30r/m 表示每个 IP 每分钟 30 次请求，burst=10 允许瞬时超出 10 次，nodelay 表示超出的部分直接拒绝而不是排队。对正常访客来说，浏览一个页面加载 10-20 个静态资源，30 次/分钟够用；对采集器来说，抓 1000 条数据就会立刻触发 429。

注意：静态资源目录（图片、CSS、JS）建议单独开一个不限速的 location，否则正常用户首屏加载就会被误伤。

如何用 UA 和 Referer 过滤采集器？

结论：UA 黑名单能挡掉脚本类采集器，Referer 校验能挡掉盗链式采集，两者互补。

在 server 块内加：

if ($http_user_agent ~* (python-requests|scrapy|curl|wget|Go-http-client|Java/)) {
    return 403;
}

Nginx 官方建议 if 只配合 return 使用，上面的写法是安全的。UA 可以随意伪造，所以这只是第一层，不能单独依赖。

Referer 校验更适合保护播放地址、下载链接这类资源：

location /play/ {
    valid_referers none blocked server_names *.yourdomain.com;
    if ($invalid_referer) { return 403; }
}

采集器如果直接请求资源 URL 而不带 Referer，就会被拦下。

蜜罐链接怎么设置才有效？

结论：在页面里埋一个只有爬虫会点的隐藏链接，一旦被访问就把该 IP 拉黑，误伤率接近零。

做法是在模板的 <body> 里插入：

<a href="/trap-bot-only.html" style="display:none" rel="nofollow">.</a>

正常用户看不见也不会点击，但采集器解析 HTML 时会把它当作普通链接跟进。服务器上给这个路径单独配置：

location = /trap-bot-only.html {
    access_log /var/log/nginx/trap.log;
    return 403;
}

再用脚本定时读取 trap.log，把出现的 IP 写入黑名单：

awk '{print $1}' /var/log/nginx/trap.log | sort -u >> /etc/nginx/blockip.conf

blockip.conf 里每行写 deny 1.2.3.4;，并在 server 块中 include /etc/nginx/blockip.conf;，nginx -s reload 生效。这套组合对自动化采集的命中率很高，因为它不依赖 UA 伪装。

IP 封禁和 CDN 限速怎么配合？

结论：源站限速挡漏网请求，CDN/WAF 在边缘挡大流量，两层同时开。

如果站点接了 Cloudflare，可以在 WAF 里加一条速率规则：同一 IP 在 60 秒内请求超过 20 次就下发 JS 质询。JS 质询能执行 JavaScript 的浏览器可以通过，纯 HTTP 客户端过不去。这一层的好处是不占用源站带宽。

源站侧的封禁用 iptables 更彻底：

iptables -I INPUT -s 1.2.3.4 -j DROP

对持续攻击的 IP 段，配合 fail2ban 自动封禁会比手工维护黑名单省事。

内容层怎么让采集到的数据变脏？

结论：把关键信息做时效性或 JS 渲染处理，采集器拿到的就是无效数据。

三种可落地的做法：一是给播放地址、下载地址加时间戳签名，链接 30 分钟后失效，采集器存下来的地址全部打不开；二是把长内容拆成 3-5 页分页，采集器需要多倍请求量才能拿全，也更容易触发限速；三是对核心字段用 JS 动态写入，静态 HTML 里只留占位符。

不建议做的是给整个页面加随机 sleep 延迟，这会让正常用户的 TTFB 从 200ms 涨到 2 秒以上，体验损失远大于收益。

综合来看，把 Nginx 限速作为基础层、UA 与 Referer 校验作为过滤层、蜜罐链接作为识别层、CDN 速率规则作为边缘层，四层叠加就能把绝大多数采集行为挡在 PHP 之外。所有阈值都要先跑一周访问日志再调，用 awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20 看清真实的高频 IP 分布，再决定 rate 设成 30r/m 还是 60r/m。