防采集返回假 404 和真 403 哪个更有效？

结论：只能二选一就选真 403——它语义正确、可直接在 Nginx/CDN 上配置、不会误伤搜索引擎；但如果目标是“让采集器自己认定这条链接是死链、主动放弃”，假 404 的弃坑率明显更高。实际最优解是按请求特征分流：默认 403/429，对已确认的采集器定向返回假 404。

假 404 和真 403 在协议层有什么区别？

真 403 返回 403 Forbidden，语义是“服务器理解请求但拒绝执行，重新认证也没用”；假 404 是让真实存在的资源返回 404 Not Found，让采集器以为这条 URL 本来就不存在。

关键差异在于这两个状态码对客户端“下一步行为”的暗示完全不同：403 是“你现在不行”，属于可恢复错误，多数采集框架（Scrapy、requests 重试封装、各类爬虫 SaaS）会换代理 IP、换 UA、降速后重试；404 是“这东西压根没有”，属于永久性错误，采集器通常直接写进死链表、不再回访。结论：**403 是在告诉对方“我被挡住了”，404 是在告诉对方“这里没东西，别来了”。**

为什么说假 404 对低成本采集器更致命？

结论：假 404 打断的是采集器的“任务清单”，真 403 打断的只是“这一次请求”。

典型的中低端采集器工作流是：拿到一批 URL → 逐条抓 → 按状态码分类 → 200 入库、404 标记死链、403 进重试队列。返回 403 时，脚本会把这条 URL 留在队列里反复重试，你的服务器要一直扛这波流量；返回 404 时，脚本自己就把这条链接删了，攻击面在对方那一侧被清理掉。

假 404 还有一个隐性收益：它不提供“对抗反馈”。403 等于明牌告诉对方“你的 IP/UA 被识别了”，稍微有点经验的采集者会立刻上代理池、上无头浏览器；假 404 只让对方怀疑目标站点结构变了，升级对抗的动力小得多。

假 404 会付出什么代价？

结论：假 404 最大的坑是会把自己的 SEO 打穿，其次是让监控和 CDN 全面失真。

搜索引擎爬虫收到 404 会从索引中移除该 URL。如果你图省事对全站生效，百度、Google、Bing 的爬虫一样吃 404，页面会从搜索结果里消失，恢复周期通常要 2 到 4 周。必须做的兜底是按 UA + 反向 DNS 双重验证放行搜索引擎爬虫，只对可疑来源返回假 404。

第二类代价是可维护性：站点可用性监控普遍用 4xx 率做告警阈值（常见设置是 5 分钟内 404 占比超过 5% 触发），假 404 会让告警长期误报；CDN 对 404 的缓存策略和 403 也不同，容易出现缓存命中错乱。所以假 404 只能作为“定向手段”，不能作为默认策略。

真 403 和限速怎么配才真的拦得住？

结论：先用 429 Too Many Requests 做限速，再用 403 做封禁，比一上来全 403 更精准，也不容易误伤正常用户。

Nginx 上最小可用的配置是：

limit_req_zone $binary_remote_addr zone=anti:10m rate=30r/m;

map $http_user_agent $bad_ua {
    default 0;
    ""      1;
    "~*(python-requests|scrapy|curl|wget|Go-http-client)" 1;
}

server {
    if ($bad_ua) { return 403; }
    location / {
        limit_req zone=anti burst=10 nodelay;
        limit_req_status 429;
    }
}

参数上给个可落地的基线：正文页单 IP 30 次/分钟（burst 10）、静态资源 120 次/分钟；对连续 10 分钟内触发 3 次 429 的 IP 直接 403 并写入黑名单，配合 fail2ban 封 24 小时。日志至少保留 7 天，用来回溯 UA 和 IP 段特征。

要提醒一点：以上所有手段对 Puppeteer/Playwright 这类无头浏览器都近乎无效——它们拿到的是完整渲染后的页面，状态码骗不了它。对抗这一层要靠行为特征（鼠标轨迹、请求间隔方差）、JS 挑战（如 Turnstile）和登录态校验。另外，robots.txt 只是君子协定，不构成任何技术防护。

什么时候该用假 404？

结论：只在两种场景用假 404——高价值内容（付费正文、数据接口）需要“温水煮青蛙”，以及已经锁定单一采集器 IP 段、需要定向劝退的时候。

判断标准很简单：如果这批请求里混着搜索引擎爬虫和真实用户，老老实实用 403/429；如果目标 URL 本来就不该出现在搜索结果里（比如 /api/ 接口、付费内容详情），假 404 没有任何 SEO 损失，收益最大。

组合策略按这五层走：正常 UA + 有 Referer + 频率正常 → 放行；搜索引擎 UA 且反向 DNS 验证通过 → 放行；空 UA / 无头浏览器特征 / 高频 → 429 限速；已确认采集器 IP 段 → 假 404；持续恶意请求 → 403 + 封 IP 24 小时。

一句话收束：真 403 是正门上的锁，安全、透明、可维护；假 404 是给对方任务表里下毒，阴但有效，且只该下在你不在乎 SEO 的那些 URL 上。