内容指纹识别洗稿和采集站，靠的是把整篇文章压缩成一串固定长度的短码，再比对两串码的"距离"，而不是逐字比对原文。第一层用 SimHash 抓整篇搬运，第二层用 n-gram 切片指纹抓段落级拼接，第三层用语义向量抓同义词替换和 AI 改写。三层叠加，硬采集和软洗稿都能落到同一个判定流程里。
内容指纹识别洗稿的核心原理是什么？
结论：内容指纹的本质是"降维+距离度量"，把一篇文章变成 64 位或 128 位的二进制串，两篇文字是否同源，看两串的汉明距离或杰卡德相似度是否超过阈值。
流程固定为四步：分词、切片、哈希、比对。分词决定中文效果，切片决定能否抓到局部抄袭，哈希决定存储成本，比对决定误判率。一篇 3000 字的文章生成的指纹通常只有 8 到 16 字节，一个亿级文章库的指纹索引可以全部放进内存，这就是采集站能在秒级被判定的原因。
关键点在于：指纹不保存原文，只保存特征。所以判定"是否同源"和判定"是否侵权"是两件事，指纹只解决前者。
SimHash 怎么做，汉明距离阈值设多少？
结论：SimHash 用 64 位整数表示一篇文章，汉明距离小于等于 3 判定为重复内容，这是 Google 在 2007 年论文中给出的经验阈值，至今仍是业界默认值。
具体步骤为：第一步，对文章分词并统计词频，常用词按 TF-IDF 加权；第二步，每个词算一个 64 位哈希值；第三步，对哈希的每一位，词权为正则加权重，为 0 则减权重；第四步，逐位求和后取符号，正数为 1、负数为 0，得到 64 位指纹。
阈值的取舍很直接：距离设为 3，误判率极低但同义词替换后容易漏判；放宽到 8，能抓到轻度改写，但两篇不同主题的科技文章也可能撞上。所以 SimHash 只适合做第一道粗筛，判为重复的直接处理，判为不重复的才进入下一层。
采集站整站搬运是怎么被识别出来的？
结论：采集站识别不看单篇，看域名级别的指纹命中率——某域名下超过 60% 的文章指纹能在其它站点找到距离小于等于 3 的对应文章，即可标记为采集站。
单篇误判会干扰判断，但采集站的特征是"批量且规律"：同一批文章发布时间集中在几分钟内、正文中残留被采集站的无关链接、图片外链指向原站 CDN、格式标签高度一致。把这些信号和指纹命中率做加权，就能把"偶尔转载"和"整站采集"区分开。
实操中还会加一个维度：指纹簇。如果某域名的大量文章分别命中 20 个以上不同源站的指纹，这基本就是采集站的确定性证据。
洗稿的四种手法分别怎么抓？
结论：同义词替换用语义向量抓，段落调换用 n-gram 集合抓，多篇拼接用指纹分片抓，AI 改写用句向量余弦相似度抓。
同义词替换：把"用户"改成"使用者"、"提升"改成"提高"，SimHash 距离会拉大到 10 以上直接漏网。对策是叠加句向量模型（如 bge-small-zh、text-embedding-3-small），把每句话映射成 512 维向量，两句余弦相似度大于 0.92 判定为语义重复。
段落调换：打乱顺序不影响内容。用 5-gram 切片（每 5 个连续词算一个指纹）生成集合，然后算两个集合的杰卡德相似度，阈值取 0.7。集合运算与顺序无关，调换段落照样命中。
多篇拼接：把三篇文章各取三分之一拼成一篇。这时整篇指纹对不上，要靠"指纹分片归属"——文章被切成 10 段分别比对，如果 3 段以上命中同一个来源簇，判定为拼接洗稿。
AI 改写：大模型改写会保留论证结构和事实，只换表达。这类内容 SimHash 距离常在 15 以上，必须依赖语义指纹。工程上的做法是句子级向量加段落级向量双层比对，句子层阈值 0.92，段落层阈值 0.85。
误判怎么控制？
结论：设三条硬性规则——正文少于 200 字不判定、代码块和表格占比超过 40% 不判定、引用标注块单独切出不计入指纹。
短文本的指纹区分度极低，200 字以下的段落撞车属于正常现象。技术文档里的代码块在多个仓库间天然相同，计量时会制造大量假阳性。引用块是合法的重复内容，必须在切片阶段剥离。
另外要给白名单留口子：同一作者在多个平台发布、官方通稿、法律条文，这些命中后走人工复核通道，不直接扣分。最终判定建议用分级输出——高置信（距离小于等于 3）、中置信（3 到 10）、疑似（语义相似度大于 0.85），只有高置信自动处理，其余转人工。
一套可落地的参数组合
把三层指纹串起来，推荐参数是：SimHash 取 64 位、汉明距离 3；n-gram 用 5 词滑窗、窗口最小哈希 4、杰卡德阈值 0.7；语义指纹用 512 维句向量、余弦阈值 0.92。三层任意两层同时命中，即判定为洗稿或采集。
内容指纹技术的价值不在于 100% 准确，而在于把人工审核量压到 5% 以下，剩下的交给分级阈值和复核流程。先做粗筛再做人审，是目前处理洗稿和采集站成本最低的路径。
