机器学习与深度学习 / 系统课时
计算描述性统计
计算描述性统计
学习目标
完成本课后,你将能够:
- 计算数值字段的中心、离散程度和取值范围
- 解释分位数、极差和标准差的业务含义
- 识别统计摘要中的异常信号
描述性统计要回答的问题
描述性统计用于快速回答:
- 样本数量是多少。
- 数据中心位于什么水平。
- 数据波动有多大。
- 典型取值范围是什么。
- 是否存在极端值或异常分布。
它不能直接证明因果关系,也不能替代图形和业务检查。
使用 describe
python
import pandas as pd
data = pd.DataFrame({
"age": [25, 31, 29, 42, 36],
"monthly_spend": [320.5, 580.0, 210.8, 760.2, 450.0],
})
print(data.describe().round(2))预期输出:
text
age monthly_spend
count 5.00 5.00
mean 32.60 464.30
std 6.50 216.72
min 25.00 210.80
25% 29.00 320.50
50% 31.00 450.00
75% 36.00 580.00
max 42.00 760.20分位数的解释
25%、50% 和 75% 分别是第一四分位数、中位数和第三四分位数。中间 50% 数据位于第一和第三四分位数之间。四分位距:
text
IQR = Q3 - Q1常用异常值参考边界:
text
下界 = Q1 - 1.5 × IQR
上界 = Q3 + 1.5 × IQR这个规则用于筛选需要检查的样本,不代表边界外数据一定错误。
按业务分组统计
python
import pandas as pd
data = pd.DataFrame({
"city": ["Shanghai", "Beijing", "Shanghai", "Beijing", "Shanghai"],
"monthly_spend": [320.5, 580.0, 210.8, 760.2, 450.0],
})
summary = data.groupby("city")["monthly_spend"].agg(
count="count",
mean="mean",
median="median",
minimum="min",
maximum="max",
)
print(summary.round(2))预期输出:
text
count mean median minimum maximum
city
Beijing 2 670.10 670.10 580.0 760.2
Shanghai 3 327.10 320.50 210.8 450.0异常信号
- 最大值远高于
75%,可能存在极端值或长尾。 - 均值明显高于中位数,数据可能右偏。
- 标准差接近或高于均值,波动可能很大。
- 计数低于总行数,说明字段存在缺失值。
- 某组样本数很少,组间比较可能不稳定。
本课练习
- 对一组订单金额计算均值、中位数、标准差和四分位距。
- 按渠道统计订单数量、平均金额和最大金额。
- 构造一个极端值,观察它对均值和中位数的不同影响。
按自己的节奏,确认真正理解。