2.2数据清理数据清理格式变换特征提取数据错误 数据与真实值Ground Truth的不匹配常见形式缺失值Missing错误值Erroneous录入错误、单位混淆极端值Extreme Values异常但可能是真实的*数据错误不会导致训练失败但会慢性中毒模型能跑但精度差更危险的是部署后会持续污染新数据形成不可逆的质量下降螺旋。1异常值Outliers与其他观测值显著偏离的数据2规则违反Rule Violations违反数据完整性约束3模式违反Pattern Violations违反语法或语义约束基于统计的数据监测错误依据数据分布可以根据2.1介绍的各种查看数据的方法可视化图寻找数据的Outliers基于规则的数据错误检测依据领域知识1. 函数依赖Functional Dependenciesx → yx 的值唯一确定 y 的值邮编唯一对应州2. 拒绝约束Denial Constraints更灵活的一阶逻辑规则表达某些情况不应该发生基于模式的数据错误检测1.语法模式Syntactic Patterns关注数据格式和类型的一致性找出列中最常见的数据类型格式标记不符合的值为异常。2. 语义模式Semantic Patterns关注数据含义是否符合现实世界知识利用知识图谱外部知识库验证数据的语义正确性。