海洋CMS采集重复内容怎么去重？规则与技巧

海洋CMS采集去重最稳的做法是「入库前拦一道 + 入库后清一次」：采集规则里把重复判断字段设成资源ID或播放地址这类唯一标识，让重复数据直接跳过不入库；再用 SQL 按标题或播放地址做一次存量清理。只靠采集完再手动删，几千条数据里漏网是常态。

海洋CMS采集的重复内容是怎么产生的？

结论：重复主要来自三个地方——同一部剧被多个采集接口返回、同一接口分页重复抓取、以及「更新集数」被当成新影片重新入库。

第一种最常见。你挂了 A、B 两个资源站，两站都上了同一部电影，标题、主演、简介几乎一样，海洋CMS按采集接口的 vod_id 判断重复时，因为两站的 ID 不同，系统会认为这是两条新数据，双双入库。第二种是采集任务中断后重跑，或者分页参数没设对，同一页被采两次。第三种是剧集更新：第一季 12 集采完，第二季更新到 20 集，如果规则是「新建」而不是「更新已有」，库里就多出一条同名影片。

采集规则里的「重复数据处理」应该选跳过还是覆盖？

结论：影视站选「跳过」或「更新」，「覆盖」最危险，容易把已经编辑过的封面、播放地址冲掉。

海洋CMS后台采集节点设置里通常有重复数据的处理方式选项（不同版本叫法有差异，一般围绕「跳过 / 覆盖 / 更新」三种）。选「跳过」适合主站已有精细维护的数据；选「更新」适合追剧类站点，新集数会自动补进已有影片的播放列表；「覆盖」会连你自己改过的简介、分类、推荐位一起还原成采集源的数据，除非你是纯搬运站，否则不建议开。

关键一步是把重复判断的字段改掉。默认按接口返回的资源 ID 判断，改成按 v_name（影片名）+ v_type（分类）或者按播放地址判断，跨资源站的重复就能在入库前被拦下。代价是标题带「HD国语版」「抢先版」这类后缀时会误判成两条，所以更好的做法是用「片名+年份」组合。

用 SQL 按标题给海洋CMS去重怎么操作？

结论：先查重、再删重，删之前一定要备份数据库，v_id 是影片自增主键，保留最小的那条即保留最早入库的。

先看重复情况（海洋CMS默认表前缀一般是 sea_，实际以你的数据库配置为准）：

SELECT v_name, COUNT(*) AS c
FROM sea_data
GROUP BY v_name
HAVING c > 1
ORDER BY c DESC;

确认无误后删除重复，保留 v_id 最小的：

DELETE t1 FROM sea_data t1
INNER JOIN sea_data t2
ON t1.v_name = t2.v_name AND t1.v_id > t2.v_id;

注意 sea_data 只存影片主信息，播放地址在播放数据表里，删主表记录后要把对应的播放记录和内容表一起清掉，否则会留下孤儿数据。清理完建议给 v_name 加索引加速后续查询：

ALTER TABLE sea_data ADD INDEX idx_v_name (v_name(50));

不建议直接加唯一索引，因为存量重复数据会让 ALTER 直接失败，而且同名不同年份的影片会被误拦。

按播放地址去重为什么比按标题更准？

结论：播放地址（m3u8 链接）是资源站独有的指纹，同一部剧不同站的播放地址几乎不可能相同，判断「是不是同一个源」比标题可靠得多。

实操思路是：把播放地址做 MD5 或截取域名+路径特征作为比对字段，采集时先查这个特征值存不存在。缺点是同一部影片的不同清晰度、不同线路会有多个地址，需要先取第一条主线路的地址做基准。适合用来判断「这个资源站的内容我是不是已经采过了」，而不是判断「这部片子库里有没有」。

采集源侧防重的3个技巧

结论：减少重复最省力的办法是不去采重复的数据，而不是采完再删。

1. 用更新时间筛选。多数资源站接口支持按更新时间拉取（常见参数如 t=1 / t=3 / t=7，代表今天、近3天、近7天更新），日常只跑 t=1，全量采集一周一次就够。
2. 一个分类只挂一个主采集源。同一分类挂多个源，重复率会成倍上升；副源只在主源缺片时手动补。
3. 给采集来的数据打来源标记。在影片名或自定义字段里写入来源站标识，出问题时能一键按来源批量清理，也方便统计哪个源重复率最高。

最后提醒一句：去重不是一次性工作，采集任务每天跑，重复就每天产生。把规则设对，再配一个每周执行的查重 SQL，基本就不用再操心这个问题了。