data-cleaning-basic-checklist

**「数据清洗基础」避坑与必做清单（可勾选）** ✅ **一、必做项（缺一不可）** - [ ] 1. 明确清洗目标：确认清洗后数据的用途（分析、建模、可视化等），避免过度或不足清洗。 - [ ] 2. 备份原始数据：保留原始数据集副本，防止误操作导致不可逆损失。 - [ ] 3. 检查数据完整性：识别缺失值（空值、NULL、占位符如"N/A"）并记录缺失比例。 - [ ] 4. 统一数据格式：标准化日期、时间、数值单位（如“万元” vs “元”）、文本大小写等。 - [ ] 5. 处理重复数据：识别并删除完全重复的记录，注意部分重复（如关键字段重复但其他字段不同）。 - [ ] 6. 验证数据类型：确保每列数据类型正确（如数值列不含文本，日期列可正确解析）。 - [ ] 7. 处理异常值：通过统计方法（如IQR、Z-score）或业务规则识别并处理异常值。 - [ ] 8. 标准化文本字段：去除首尾空格、统一编码（如UTF-8）、处理特殊字符（如换行符、制表符）。 - [ ] 9. 检查逻辑一致性：验证字段间逻辑关系（如“结束日期”不早于“开始日期”）。 - [ ] 10. 记录清洗过程：详细记录每一步操作（如删除多少行、如何处理缺失值），便于追溯和复现。 ⚠️ **二、最容易踩的坑（务必警惕）** - [ ] 1. **直接删除缺失值**：未评估缺失机制（随机缺失/非随机缺失）可能导致偏差。 - [ ] 2. **忽略业务上下文**：仅依赖统计方法处理异常值，未结合业务场景判断合理性。 - [ ] 3. **盲目填充缺失值**：用均值/中位数填充分类变量，或用0填充导致信息失真。 - [ ] 4. **未处理隐式重复**：如“北京” vs “北京市”、用户ID大小写不一致等。 - [ ] 5. **日期格式混乱**：混合使用“2023/01/01”和“01-Jan-2023”等格式，导致解析失败。 - [ ] 6. **编码问题**：未统一文本编码，出现乱码或特殊字符（如“�”）。 - [ ] 7. **未验证清洗结果**：清洗后未抽样检查，遗漏边缘案例（如极端值、边界条件）。 - [ ] 8. **忽略数据分布变化**：清洗后未对比原始与处理后数据的分布，可能引入偏差。 📌 **最后一步** - [ ] 完成清洗后，生成简要报告：总结处理的问题类型、数量及方法，供团队审核。 > 提示：勾选所有项后再进入下一步，确保一次做对！

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本

相关资产