机器学习与深度学习 / 系统课时
形成数据分析结论
形成数据分析结论
学习目标
完成本课后,你将能够:
- 把探索结果整理为可执行的数据质量结论
- 区分观察事实、解释假设和后续建议
- 输出支持建模决策的分析报告
结论不是图表堆积
数据分析结论应回答三个问题:
- 数据目前是否可以用于建模。
- 哪些规律值得进入特征工程和模型验证。
- 哪些风险必须在建模前解决。
图表和统计量是证据,结论必须说明证据代表什么以及下一步采取什么行动。
三层表达结构
推荐把每条结论拆成:
text
观察事实 -> 可能解释 -> 建议行动示例:
text
观察事实:退款样本占比为 2.1%,类别明显不平衡。
可能解释:退款本身是低频事件,且部分历史退款标签可能缺失。
建议行动:核对标签完整性,并在建模时使用召回率、F1 和 PR-AUC。事实必须由数据支持;解释属于待验证假设;建议应可以执行。
数据分析报告骨架
text
1. 数据范围
- 时间范围
- 样本数量
- 目标对象
2. 数据质量
- 缺失值
- 重复记录
- 异常值
- 类型与编码问题
3. 目标变量
- 类别比例或数值分布
- 标签生成方式
- 标签可靠性
4. 特征规律
- 单变量分布
- 分组差异
- 相关性
- 潜在泄漏
5. 建模建议
- 划分策略
- 评价指标
- 预处理方案
- 待补充数据用代码生成基础摘要
python
import pandas as pd
data = pd.DataFrame({
"age": [25, 31, None, 42, 36],
"amount": [120, 580, 210, 760, 450],
"label": [0, 0, 1, 0, 0],
})
report = {
"rows": len(data),
"columns": len(data.columns),
"missing_values": data.isna().sum().to_dict(),
"duplicate_rows": int(data.duplicated().sum()),
"label_distribution": data["label"].value_counts().to_dict(),
}
for key, value in report.items():
print(f"{key}: {value}")预期输出:
text
rows: 5
columns: 3
missing_values: {'age': 1, 'amount': 0, 'label': 0}
duplicate_rows: 0
label_distribution: {0: 4, 1: 1}这个摘要提供事实基础,但仍需要结合业务解释标签不平衡和年龄缺失的原因。
验收标准
一份合格的数据分析结论应满足:
- 每条关键结论都有统计量、表格或图形支持。
- 清楚区分事实与推测。
- 明确列出阻塞建模的问题。
- 给出训练验证划分和评价指标建议。
- 不把相关关系表述为因果关系。
- 能让建模人员直接据此安排下一步工作。
本课练习
- 根据一个包含缺失值和类别不平衡的数据集写出 3 条“事实—解释—行动”结论。
- 为数据分析报告补充时间范围、样本口径和字段来源。
- 找出一条缺少证据的主观结论,并改写为可验证假设。
按自己的节奏,确认真正理解。