机器学习与深度学习 / 系统课时
查看数据结构
查看数据结构
学习目标
完成本课后,你将能够:
- 检查数据行列数量、字段名称和字段类型
- 使用样本、摘要和缺失值统计识别结构问题
- 建立加载数据后的固定检查顺序
为什么先看结构
在计算统计量或训练模型前,必须确认数据是否符合预期。字段名错位、日期被当作字符串、编号被当作数值、布尔值混入文本,都会让后续分析产生错误结论。
建立检查清单
python
import pandas as pd
data = pd.read_csv("customers.csv")
print("形状:", data.shape)
print("字段:", data.columns.tolist())
print("\n字段类型:")
print(data.dtypes)
print("\n前 3 行:")
print(data.head(3))
print("\n缺失值:")
print(data.isna().sum())
print("\n完整信息:")
data.info()预期结果应包含:
text
形状: (4, 5)
字段列表与 CSV 表头一致
age 列包含 1 个缺失值
data.info() 显示 4 条记录和各列非空数量常见字段类型问题
| 问题 | 表现 | 处理方向 |
|---|---|---|
| 数字混入文本 | 类型为 object |
定位非法值后转换 |
| 日期未解析 | 类型为 object |
使用 pd.to_datetime |
| 整数列含空值 | 类型变成 float64 |
使用可空整数 Int64 |
| 布尔值写法不一致 | 出现 true、Yes、1 |
统一映射 |
| 列名带空格 | 查找字段失败 | 清理列名 |
清理列名可以执行:
python
data.columns = data.columns.str.strip()安全转换字段类型
python
import pandas as pd
values = pd.Series(["10", "20", "unknown", "40"])
converted = pd.to_numeric(values, errors="coerce")
print(converted)
print("转换失败数量:", converted.isna().sum())预期输出:
text
0 10.0
1 20.0
2 NaN
3 40.0
dtype: float64
转换失败数量: 1使用 errors="coerce" 会把非法值转换为缺失值,转换后必须统计失败数量并决定修复策略。
检查顺序
推荐固定顺序:
- 检查
shape,确认数据规模。 - 检查
columns,确认字段名。 - 检查
head和随机样本,观察内容。 - 检查
dtypes和info,确认类型。 - 检查缺失值和重复记录。
- 对关键字段执行唯一性和取值范围验证。
本课练习
- 构造一列混合数字和文本的数据,使用安全转换定位异常值。
- 把含空值的年龄列转换为 Pandas 可空整数类型
Int64。 - 为订单表编写结构检查脚本,验证订单号唯一且金额非负。
按自己的节奏,确认真正理解。