数据整理与 SQL · case-01
数据清洗与预处理
数据清洗与预处理：量化缺失、重复、越界、格式不一和类型错乱等问题。
怎样在不掩盖数据问题的前提下，把原始记录整理成可分析的数据表？
- 输入数据来源
- Notebook 内构造的教学示例，不来自已核实的真实企业业务数据。
- 数据性质
- 刻意构造的教学样例；部分数据特意包含缺失、离群、并列或异常现象，不代表实际运营情况。
- 图件状态
- 案例包附带的静态教学图件；本次构建未执行 Notebook。
KEY POINTS
这条内容的重点
基础 4 小时
- 量化缺失、重复、越界、格式不一和类型错乱等问题。
- 根据字段语义选择处理方式，并说明可能带来的偏差。
- 用断言校验清洗步骤和结果。
WORKFLOW
内容流程
检查原始表
盘点缺失、重复、越界、格式不一和类型错乱，并量化问题规模。
本步产物 数据问题清单。
选择处理策略
根据字段语义决定填充、删除、转换或保留标记，并记录可能的偏差。
本步产物 清洗规则与理由。
建立清洗流水线
按顺序执行处理步骤，在关键节点加入断言并核对结果。
本步产物 带断言的清洗流程。
METHODS
相关方法
- 数据体检
- 缺失机制与策略比较
- Z-score 与 IQR 检测
- 清洗流水线与断言
DELIVERABLES
可获得的内容
- 数据问题盘点表
- 清洗策略说明
- 带断言的清洗流程
LIMITATIONS
适用范围与注意事项
- 输入数据来源：Notebook 内构造的教学示例，不来自已核实的真实企业业务数据。
- 数据性质：刻意构造的教学样例；部分数据特意包含缺失、离群、并列或异常现象，不代表实际运营情况。
- 图件状态：案例包附带的静态教学图件；本次构建未执行 Notebook。
- 配套 Notebook、PPT 与实训方案的公开再分发许可待核验，尚未进入公开下载包。
MATERIALS
相关资料与下载
只展示已核准公开的资料。
当前没有已批准公开的资料。待核验或私有文件不会显示。