先确认“不一致”属于哪一类:是同一对象被拆成多行,还是报告把不该合并的对象合并了。前者靠稳定标识去重,后者要退回原始对象清单核对。不要只看页数差多少,先抽十条记录比对字段,才能决定保留、改写还是退出这次导出。
报告页数通常按行或分页统计,实际对象数量按独立 URL、独立页面或独立查询对象统计。两者不一致时,常见原因有三种:同一对象因参数、尾斜杠、大小写、协议或跟踪参数产生多条记录;分页把同一对象拆到多页;报告把不同对象按标题或模板归并成一条。前两种是重复,第三种是合并错误,处理方向相反。
可操作动作:从报告导出前二十行和最后二十行,各挑五条,逐条记录对象标识、标题、规范链接、参数和出现页码。若同一标识出现在多页且其他字段一致,按重复处理;若两条记录标识不同但被算作一个对象,按边界错误处理。这个动作的结果决定下一步是去重还是拆回。
当每条记录都有可稳定比较的标识,例如完整 URL、页面 ID 或查询对象 ID,并且标题、状态、更新时间等字段能对应上,保留是代价最低的做法。保留不等于原样使用,而是以标识为主键,把同标识的多行合并为一行,保留最新或最完整的一条,其余作为来源记录留在旁表。
适用前提:标识在两次导出之间不随会话、设备或时间变化;参数差异确实指向同一对象。若参数会改变页面内容或查询结果,例如筛选条件、排序方式、分页参数,则不能直接合并,应把它们视为不同对象或先归一化再判断。
假设例子:某次导出得到 120 行,按完整 URL 去重后剩 96 个对象,其中 18 行差异仅来自跟踪参数,6 行差异来自分页参数。此时可把跟踪参数行合并,分页行单独保留。下一步应检查这 96 个对象是否与站点地图或内部清单一致,而不是直接拿 96 作为最终数量。
若报告只给出标题、路径片段或跳转后的地址,缺少稳定标识,保留会掩盖重复,直接删除又可能误删。此时改写更合适:用规范链接、路径规则或对象自身的唯一字段重建标识,再按新标识去重。改写的关键是让规则可复现,而不是手工挑几条删除。
可执行规则包括:统一协议与主机名大小写;去掉已知跟踪参数;把带与不带尾斜杠视为同一对象;对分页参数单独建字段而不并入主标识。每写一条规则,先在小样本上验证它只合并应合并的对象。若一条规则同时合并了不同内容页,说明规则过宽,应缩小范围或退出自动处理。
代价是改写需要维护规则表,规则变化后历史报告的可比性会下降。因此改写后应保留原始导出文件和规则说明,便于回查。下一步动作是用同一规则重跑一次导出,观察对象数量是否稳定;若数量仍随导出批次大幅波动,说明标识仍不稳定,应转向退出。
当报告把不同对象合并、又无法从字段还原边界,或对象数量本身依赖登录态、地域、设备等未记录条件时,继续在报告内去重会制造虚假的准确感。退出的含义不是放弃分析,而是停止用这份报告统计对象数量,改为从原始来源重建清单,例如站点地图、内容管理系统导出、日志中的独立路径,或查询对象自身的注册表。
退出前先确认差异是否还有其他合理解释:抓取量或请求量归零,可能只是采集窗口变化、过滤条件收紧或该批次未覆盖,并不能单独证明对象被正确合并。页数减少也可能来自分页方式改变,而非重复被清除。把这些解释逐条排除后,再决定退出。
取 30 条记录做一次对照:按稳定标识去重后数量为 A,按改写规则去重后数量为 B,原始行数为 C。若 A 与 B 接近且规则可解释,保留或改写都成立,优先选维护成本低的那种;若 A 与 B 差距大,说明标识定义有分歧,应先统一标识再谈数量;若两者都无法与原始来源对上,退出报告统计。
无论选哪种,都把对象数量与页数分开记录,并注明去重规则、适用条件和未覆盖范围。这样下一次报告页数再变化时,你能判断是对象变了、规则变了,还是导出条件变了,而不是重新猜一遍。