机器学习与深度学习 / 系统课时

加载结构化数据

加载结构化数据

学习目标

完成本课后,你将能够:

  • 使用 Pandas 读取 CSV 和 Excel 文件
  • 正确处理编码、分隔符、字段类型和缺失值标记
  • 通过行数、字段和样本内容验证加载结果

先准备示例数据

将下面内容保存为 customers.csv:

text
customer_id,age,city,monthly_spend,is_member
C001,25,Shanghai,320.5,true
C002,31,Beijing,580.0,false
C003,,Guangzhou,210.8,true
C004,42,Shanghai,760.2,true

第一行是字段名,后续每行是一条客户记录。C003 的年龄为空,用于观察缺失值。

读取 CSV

python
import pandas as pd

data = pd.read_csv("customers.csv")

print("数据形状:", data.shape)
print("字段列表:", data.columns.tolist())
print(data.head())

预期输出:

text
数据形状: (4, 5)
字段列表: ['customer_id', 'age', 'city', 'monthly_spend', 'is_member']
  customer_id   age       city  monthly_spend  is_member
0        C001  25.0   Shanghai          320.5       True
1        C002  31.0     Beijing          580.0      False
2        C003   NaN  Guangzhou          210.8       True
3        C004  42.0   Shanghai          760.2       True

由于年龄列存在空值,Pandas 默认把该列读取为浮点类型。

读取 Excel 与指定工作表

安装 Excel 读取依赖:

bash
python -m pip install openpyxl

读取指定工作表:

python
import pandas as pd

data = pd.read_excel(
    "customers.xlsx",
    sheet_name="customers",
    engine="openpyxl"
)

print(data.shape)

预期结果:

text
输出值应与 customers 工作表的实际行数和列数一致。

Excel 文件可能包含多个工作表、合并单元格或说明行,读取后必须检查字段名是否正确。

常用读取参数

参数 作用
encoding 指定文本编码,例如 utf-8
sep 指定分隔符,例如逗号或制表符
dtype 强制字段类型,避免编号被当作数字
na_values 指定哪些文本代表缺失值
usecols 只读取需要的列
parse_dates 将日期字段解析为日期类型

订单号、手机号和邮编通常应按字符串读取,否则前导零可能丢失。

加载后的强制验证

至少检查:

python
print(data.shape)
print(data.columns)
print(data.dtypes)
print(data.head(3))
print(data.isna().sum())

验收标准不是“代码没有报错”,而是行数、列数、字段名、字段类型和缺失值数量都符合预期。

本课练习

  1. 使用 dtype 把 customer_id 明确读取为字符串。
  2. 创建制表符分隔文件并使用 sep="\t" 读取。
  3. 读取一个包含 NA、null 和空字符串的文件,统一识别为缺失值。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

加载结构化数据

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通