高等数学 / 系统课时
探索性数据分析
探索性数据分析
探索性数据分析的任务,是在正式建模或假设检验前回答三个问题:数据大致如何分布、变量之间是否存在关系、哪些观测值得进一步核查。本课将用描述统计与可视化完成一轮可复现的 EDA。
学习目标
- 能按单变量、双变量和分组视角组织探索性分析
- 能正确解读分布、相关关系和可疑观测
- 能用 Python 生成描述统计与核心图表并验证发现
从问题而不是图表开始
EDA 不是把所有图表画一遍,而是围绕分析问题逐步缩小范围。先确认目标变量,再查看其分布;随后选择可能有关的解释变量,检查关系;最后回到异常点和分组差异,判断是否需要补充数据或修正口径。
一轮完整探索通常包含四步:了解数据结构、描述单变量分布、分析变量关系、核查异常与分组差异。每一步都应形成可验证的观察,而不是直接得出因果结论。

单变量:先看中心、离散与形状
数值变量至少检查样本量、均值、中位数、标准差、四分位数和极值。均值明显大于中位数时,分布可能右偏;标准差较大说明观测较分散,但必须结合量纲判断。
直方图用于观察分布形状,箱线图更适合识别中位数、离散程度与可疑值。分类变量则应查看频数和比例,尤其关注类别极不平衡、拼写不一致或罕见类别。
双变量:关系不等于因果
两个数值变量可先画散点图,再计算相关系数。散点图能暴露非线性、分组结构和异常点,而单个相关系数可能掩盖这些信息。即使相关系数较高,也只能说明样本中的关联程度,不能证明一个变量导致另一个变量变化。
数值变量与分类变量之间,可用分组统计和箱线图比较中心与离散程度。两个分类变量则适合使用列联表观察组合频数,并进一步判断比例差异是否值得检验。
用 Python 完成一轮 EDA
下面示例使用固定订单数据,输出描述统计、渠道分组均值和相关系数,并生成直方图、散点图与箱线图。运行后会在当前目录生成三个 PNG 文件。
import pandas as pd
import matplotlib.pyplot as plt
data = {
"amount": [80, 95, 110, 120, 130, 150, 180, 520],
"items": [1, 2, 2, 3, 3, 4, 5, 6],
"channel": ["APP", "WEB", "APP", "WEB", "APP", "WEB", "APP", "WEB"],
}
df = pd.DataFrame(data)
print(df[["amount", "items"]].describe().round(2))
print("\n渠道平均金额")
print(df.groupby("channel")["amount"].mean().round(2))
print(f"\n金额与件数相关系数: {df['amount'].corr(df['items']):.3f}")
df["amount"].plot(kind="hist", bins=5, title="Order Amount Distribution")
plt.xlabel("Amount")
plt.tight_layout()
plt.savefig("amount_hist.png")
plt.close()
df.plot(kind="scatter", x="items", y="amount", title="Items vs Amount")
plt.tight_layout()
plt.savefig("items_amount_scatter.png")
plt.close()
df.boxplot(column="amount", by="channel")
plt.suptitle("")
plt.title("Amount by Channel")
plt.tight_layout()
plt.savefig("amount_by_channel.png")
plt.close()预期输出
amount items
count 8.00 8.00
mean 173.12 3.25
std 143.60 1.67
min 80.00 1.00
25% 106.25 2.00
50% 125.00 3.00
75% 157.50 4.25
max 520.00 6.00
渠道平均金额
channel
APP 125.00
WEB 221.25
Name: amount, dtype: float64
金额与件数相关系数: 0.810预期结果还包括当前目录中的 amount_hist.png、items_amount_scatter.png 和 amount_by_channel.png。实际保存路径取决于运行环境,可用 <PATH> 表示。
如何解释这组结果
均值 173.12 明显高于中位数 125,且最大值 520 远离其他观测,说明金额分布右偏并存在一个可疑高值。散点图预计显示金额随件数增加而上升,但 520 这一观测会明显影响相关系数。
WEB 渠道平均金额为 221.25,高于 APP 的 125,但这并不能直接说明渠道造成差异。原因是样本只有 8 条,且高额订单恰好属于 WEB。下一步应核查该订单是否真实,并比较去除或保留该点时结论是否稳定。
常见误区
不要只看均值而忽略分布形状,也不要仅凭相关系数下结论。图表中发现的模式应转化为待验证的问题,例如“高额订单是否集中在某渠道”,再用更多数据或正式统计方法检验。
图表轴范围、分组口径和缺失值处理也会改变视觉结论。输出图表时,应明确样本范围、单位和过滤条件,避免让读者把局部样本误认为总体规律。