先给结论:如果两篇文章都在为同一批查询服务,保留事实最完整、上下文最贴题的那一篇,其余文章不要整段删除,而是把重复事实压缩成一句指向性表述,并把腾出的篇幅换成该页独有的判断依据。只有当两页的查询意图高度重叠、且外链和内链都集中在同一页时,才考虑合并或让其中一页退出索引。
相同事实出现在多篇文章里,本身不是问题;问题是这些事实是否在回答同一个查询。判断依据不是文字重复率,而是三件事:搜索意图是否相同、页面各自还提供了什么独有信息、站内链接是否把两页指向同一批词。
缺少完整数据或权限时,仍然可以做这个判断:把两页各自能回答的问题写成一句话,如果两句话几乎同义,就是竞争;如果一句话是“是什么”,另一句是“出了某情况怎么办”,就是分工。这个动作不需要后台数据,只需要逐段读首屏和各级小标题。
优先合并,而不是逐句改写。把两页独有的例子、条件、例外先摘出来,并入保留页对应小节,再让被合并页做 301 到保留页。合并后要检查保留页的首段是否仍然直接回答标题问题,避免把两篇的开头硬拼成一段。
如果暂时不能做重定向,最小动作是:在被合并页顶部加一句说明,指出该页内容已并入哪一页,并给出站内链接;同时把该页的重复事实压缩到一句,只保留它独有的部分。这样做的结果是,读者仍能到达完整答案,而重复段落不再和保留页正面竞争。下一步应观察这两页在站内搜索和日志中的入口词是否开始分化,而不是急着继续删。
这时不要合并,先做“事实归位”:为每类事实指定一个主页面,其他页面只保留一句概括加链接。例如,同一组适用条件在教程页、案例页、问答页都出现,就让教程页保留完整条件,案例页只写“该条件见教程页对应小节”,把篇幅让给本页独有的场景差异。
这个动作的结果是页面之间形成引用关系,而不是复制关系。下一步应检查被压缩的位置是否仍能独立回答本页标题提出的问题;如果不能,说明压缩过度,需要补回一句最小必要说明。
不是所有重复事实都同等处理。可按下面三类区分:
一个注明假设的短例子:假设 A 页和 B 页都写了“标题应包含核心词”。A 页是概念说明,B 页是改标题的操作清单。可以把 A 页的这句话压缩成一句并链到 B 页,把 A 页腾出的位置换成“什么情况下标题不该硬塞核心词”。这里没有固定字数或密度阈值,判断标准是压缩后该页是否还回答了自己的标题问题。
重复事实被压缩后,如果某页的抓取频次或站内搜索点击下降,不能单独证明处理正确,也不能证明处理错误。合理解释至少包括:该页原本就依赖那段重复内容获得入口词;站内链接调整改变了爬虫路径;查询本身存在季节性波动;或者页面只是暂时未被重新抓取。缺少数据时,应把这些可能并列记录,而不是把任何单一现象当成因果证据。
同样,两页同时存在并不必然导致排名下降,合并两页也不必然带来排名上升。可以执行的最小动作是:先确定一个主页面,把其他页面的重复事实压缩为一句加链接,保留各自独有的判断依据和例外,然后观察入口词是否分化、读者是否仍能顺着链接找到完整答案。若分化不明显,再考虑合并或退出索引;若分化明显,就维持分工结构,不必继续删减。