海洋 CMS 采集任务可以设置多线程吗

结论：海洋CMS 自带的采集任务没有「多线程」这个开关，它的采集是单进程顺序执行的；想真正提速，只有两条路——一是同时开多个采集任务（同一后台并行触发不同分类／不同页段），二是用外部采集器（如火车头）多线程抓取后通过入库接口回写。两者都需要先把 PHP 和 Web 服务器的并发、超时参数调上去，否则开再多任务也只会超时中断。

海洋CMS 采集任务为什么没有多线程设置？

结论：因为海洋CMS 是 PHP 程序，采集动作由一次 HTTP 请求触发，一次请求对应一个 PHP 进程，天然就是单线程模型。

PHP 不像 Python、Go 那样能在单个进程里开原生线程池，海洋CMS 的采集逻辑是「请求一页 → 解析 → 入库 → 再请求下一页」，串行推进。你在后台点一次「开始采集」，浏览器发出的请求就占住一个 php-fpm 进程，直到这一批采完或超时。所以后台采集界面里没有「线程数」「并发数」这类选项，不是被藏起来了，而是程序架构上就不存在。

另一个现实原因是：采集是 IO 密集型加数据库写入密集型操作，同时并发太高会把目标站封 IP、把本地 MySQL 的写入压力拉满，所以绝大多数影视 CMS 都选择保守的串行方案。

海洋CMS 怎么实现多线程采集？三种可行做法

结论：官方没有多线程功能，但可以通过「多任务并行」和「外部采集器」两类手段达到等效效果。

做法一：多标签并行触发采集任务。 在浏览器里开多个标签页，分别进入后台采集任务，第一个标签采分类 A 的第 1-500 页，第二个标签采分类 B，第三个标签采分类 C。每个标签各占一个 PHP 进程，实际就是多进程并行。适合按分类切分，不建议两个标签采同一个分类的相邻页，容易产生重复数据判断上的竞争。

做法二：服务器定时任务错峰并行。 在服务器 crontab 里写多条 curl 或 wget 命令，分别请求不同采集任务的入口地址，把分钟数错开。例如三条任务分别设在 */30、1-59/30、2-59/30 触发，实现同一时间段内多个采集进程并行。这种方式不占浏览器，适合长期挂机。

做法三：外部采集器多线程 + 入库接口。 用火车头这类桌面采集器负责抓取（它自己支持设置线程数，常见设 5-10 线程），抓完通过海洋CMS 的入库／发布接口写入，或者直接连数据库写表。这是唯一能做到「抓取阶段真多线程」的方案，代价是要自己配发布规则和字段映射。

并发开到多少合适？必须同步调整的参数

结论：建议同时运行的采集任务控制在 3-5 个，超过 5 个收益迅速下降，且极易触发超时和目标站封禁。

需要同步放大的参数有三处：

1. PHP 的 max_execution_time：默认 30 秒，采集一页数据往往不够用，建议调到 300。
2. php-fpm 的 pm.max_children：这是能同时运行的 PHP 进程上限。如果你并行 5 个采集任务，它至少要大于 5，再加上正常访客占用的进程。按每个 PHP 进程 50MB 内存预留，8 核 8G 的机器设 20-30 比较稳妥。
3. Nginx 的 fastcgi_read_timeout：默认 60 秒，要跟 PHP 的执行时间对齐，同样设 300，否则前端会先报 504。

调整完记得重启 php-fpm 和 Nginx，只改配置文件不重启不生效。

多线程采集最容易踩的三个坑

结论：并发不是越高越好，重复入库、目标站封 IP、数据库锁表是多线程采集的三大风险。

第一，重复入库。多个任务采同一个分类时，海洋CMS 判断「是否已存在」依赖标题或播放地址比对，并发写入时可能同时判定为「不存在」而插入两条。切分任务时按分类或按 ID 区间切，不要按页码重叠切。

第二，目标站限流。多数资源站对单 IP 有 QPS 限制，并发 5 个任务同时抓同一站，几分钟内就会被 403 或拉黑。多个任务尽量分散到不同资源站。

第三，MySQL 写入压力。采集入库是批量 INSERT，并发任务多时容易锁等待。建议采集时段避开网站访问高峰，或者给采集库单独配置。

总结一下：海洋CMS 采集任务本身不支持多线程，这是 PHP 架构决定的；要提速就用多任务并行或外部采集器，同时把 max_execution_time、pm.max_children、fastcgi_read_timeout 调到 300／20-30／300，并行任务数控制在 3-5 个，并且按分类切分任务避免重复入库。