机器学习与深度学习 / 系统课时
加载结构化数据
加载结构化数据
学习目标
完成本课后,你将能够:
- 使用 Pandas 读取 CSV 和 Excel 文件
- 正确处理编码、分隔符、字段类型和缺失值标记
- 通过行数、字段和样本内容验证加载结果
先准备示例数据
将下面内容保存为 customers.csv:
text
customer_id,age,city,monthly_spend,is_member
C001,25,Shanghai,320.5,true
C002,31,Beijing,580.0,false
C003,,Guangzhou,210.8,true
C004,42,Shanghai,760.2,true第一行是字段名,后续每行是一条客户记录。C003 的年龄为空,用于观察缺失值。
读取 CSV
python
import pandas as pd
data = pd.read_csv("customers.csv")
print("数据形状:", data.shape)
print("字段列表:", data.columns.tolist())
print(data.head())预期输出:
text
数据形状: (4, 5)
字段列表: ['customer_id', 'age', 'city', 'monthly_spend', 'is_member']
customer_id age city monthly_spend is_member
0 C001 25.0 Shanghai 320.5 True
1 C002 31.0 Beijing 580.0 False
2 C003 NaN Guangzhou 210.8 True
3 C004 42.0 Shanghai 760.2 True由于年龄列存在空值,Pandas 默认把该列读取为浮点类型。
读取 Excel 与指定工作表
安装 Excel 读取依赖:
bash
python -m pip install openpyxl读取指定工作表:
python
import pandas as pd
data = pd.read_excel(
"customers.xlsx",
sheet_name="customers",
engine="openpyxl"
)
print(data.shape)预期结果:
text
输出值应与 customers 工作表的实际行数和列数一致。Excel 文件可能包含多个工作表、合并单元格或说明行,读取后必须检查字段名是否正确。
常用读取参数
| 参数 | 作用 |
|---|---|
encoding |
指定文本编码,例如 utf-8 |
sep |
指定分隔符,例如逗号或制表符 |
dtype |
强制字段类型,避免编号被当作数字 |
na_values |
指定哪些文本代表缺失值 |
usecols |
只读取需要的列 |
parse_dates |
将日期字段解析为日期类型 |
订单号、手机号和邮编通常应按字符串读取,否则前导零可能丢失。
加载后的强制验证
至少检查:
python
print(data.shape)
print(data.columns)
print(data.dtypes)
print(data.head(3))
print(data.isna().sum())验收标准不是“代码没有报错”,而是行数、列数、字段名、字段类型和缺失值数量都符合预期。
本课练习
- 使用
dtype把customer_id明确读取为字符串。 - 创建制表符分隔文件并使用
sep="\t"读取。 - 读取一个包含
NA、null和空字符串的文件,统一识别为缺失值。
按自己的节奏,确认真正理解。