机器学习与深度学习 / 系统课时

查看数据结构

查看数据结构

学习目标

完成本课后,你将能够:

  • 检查数据行列数量、字段名称和字段类型
  • 使用样本、摘要和缺失值统计识别结构问题
  • 建立加载数据后的固定检查顺序

为什么先看结构

在计算统计量或训练模型前,必须确认数据是否符合预期。字段名错位、日期被当作字符串、编号被当作数值、布尔值混入文本,都会让后续分析产生错误结论。

建立检查清单

python
import pandas as pd

data = pd.read_csv("customers.csv")

print("形状:", data.shape)
print("字段:", data.columns.tolist())
print("\n字段类型:")
print(data.dtypes)

print("\n前 3 行:")
print(data.head(3))

print("\n缺失值:")
print(data.isna().sum())

print("\n完整信息:")
data.info()

预期结果应包含:

text
形状: (4, 5)
字段列表与 CSV 表头一致
age 列包含 1 个缺失值
data.info() 显示 4 条记录和各列非空数量

常见字段类型问题

问题 表现 处理方向
数字混入文本 类型为 object 定位非法值后转换
日期未解析 类型为 object 使用 pd.to_datetime
整数列含空值 类型变成 float64 使用可空整数 Int64
布尔值写法不一致 出现 true、Yes、1 统一映射
列名带空格 查找字段失败 清理列名

清理列名可以执行:

python
data.columns = data.columns.str.strip()

安全转换字段类型

python
import pandas as pd

values = pd.Series(["10", "20", "unknown", "40"])

converted = pd.to_numeric(values, errors="coerce")
print(converted)
print("转换失败数量:", converted.isna().sum())

预期输出:

text
0    10.0
1    20.0
2     NaN
3    40.0
dtype: float64
转换失败数量: 1

使用 errors="coerce" 会把非法值转换为缺失值,转换后必须统计失败数量并决定修复策略。

检查顺序

推荐固定顺序:

  1. 检查 shape,确认数据规模。
  2. 检查 columns,确认字段名。
  3. 检查 head 和随机样本,观察内容。
  4. 检查 dtypes 和 info,确认类型。
  5. 检查缺失值和重复记录。
  6. 对关键字段执行唯一性和取值范围验证。

本课练习

  1. 构造一列混合数字和文本的数据,使用安全转换定位异常值。
  2. 把含空值的年龄列转换为 Pandas 可空整数类型 Int64。
  3. 为订单表编写结构检查脚本,验证订单号唯一且金额非负。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

查看数据结构

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通