zvex-entity-resolution

实体匹配与主数据去重服务（zvex）：将CRM、订单、会员等多张客户表（CSV/Excel）整合，识别“哪些行描述的是同一个客户”。服务流程始于数据体检与适用性诊断，涵盖列结构与质量评估（如空值率、日期与电话格式一致性、称谓混入姓名等问题），并设定适用性门槛：仅当存在多列且相关性较低时采用概率匹配；若仅有单一名称列的词袋数据，则如实劝退并提供替代方案；若唯一标识齐全，则直接进行精确匹配。同时预判数据体量（比较量随记录数平方增长），先阻塞计数再启动处理，对不适用场景如实退回。 完整交付内容为「结论+证据+复核清单」的诊断报告，具体包括： - 阻塞规则设计：采用多条严格规则的并集，优于少数宽松规则，执行前通过离线计数预估比较量； - 参数估计：基于严格规则加召回猜测设定先验，结合随机对参数直接估计及无监督训练进行匹配参数优化；对于单轮无法估计的列，通过多轮换阻塞列对比一致性辅助判断； - 逐列比较结构：分空值层、精确层、模糊梯度层、兜底层四级处理，相似度计算依据字段语义选择合适算法； - 常见值频率调整：修正因巧合导致的低估与稀有值的高估问题，设置频率下限防止权重爆炸； - 阈值权衡：高阈值控制误合并风险，低阈值保障召回率，根据业务代价确定阈值并明确写入口径段； - 成对匹配后聚类生成实体分组，输出可疑大簇清单； - 三层评估机制：参数直觉核对、分数分布与边界样本分析、簇大小分布抽检。 最终交付六件套成果： 1. 结论摘要 2. 数据与口径说明段 3. 匹配统计结果 4. 复核清单 5. 必附局限段（含无标注导致的估计误差、阈值敏感性、列相关性影响等说明） 6. 可选合并映射表 本服务聚焦于“谁和谁是同一实体”的去重与对齐诊断，不包含全量数据质量审计或常规统计分析；默认不修改用户原始数据，合并操作需在确认后另行提供映射表执行。

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本

相关资产