机器学习与深度学习 / 系统课时

计算描述性统计

计算描述性统计

学习目标

完成本课后,你将能够:

  • 计算数值字段的中心、离散程度和取值范围
  • 解释分位数、极差和标准差的业务含义
  • 识别统计摘要中的异常信号

描述性统计要回答的问题

描述性统计用于快速回答:

  • 样本数量是多少。
  • 数据中心位于什么水平。
  • 数据波动有多大。
  • 典型取值范围是什么。
  • 是否存在极端值或异常分布。

它不能直接证明因果关系,也不能替代图形和业务检查。

使用 describe

python
import pandas as pd

data = pd.DataFrame({
    "age": [25, 31, 29, 42, 36],
    "monthly_spend": [320.5, 580.0, 210.8, 760.2, 450.0],
})

print(data.describe().round(2))

预期输出:

text
         age  monthly_spend
count   5.00           5.00
mean   32.60         464.30
std     6.50         216.72
min    25.00         210.80
25%    29.00         320.50
50%    31.00         450.00
75%    36.00         580.00
max    42.00         760.20

分位数的解释

25%、50% 和 75% 分别是第一四分位数、中位数和第三四分位数。中间 50% 数据位于第一和第三四分位数之间。四分位距:

text
IQR = Q3 - Q1

常用异常值参考边界:

text
下界 = Q1 - 1.5 × IQR
上界 = Q3 + 1.5 × IQR

这个规则用于筛选需要检查的样本,不代表边界外数据一定错误。

按业务分组统计

python
import pandas as pd

data = pd.DataFrame({
    "city": ["Shanghai", "Beijing", "Shanghai", "Beijing", "Shanghai"],
    "monthly_spend": [320.5, 580.0, 210.8, 760.2, 450.0],
})

summary = data.groupby("city")["monthly_spend"].agg(
    count="count",
    mean="mean",
    median="median",
    minimum="min",
    maximum="max",
)

print(summary.round(2))

预期输出:

text
          count    mean  median  minimum  maximum
city
Beijing       2  670.10  670.10    580.0    760.2
Shanghai      3  327.10  320.50    210.8    450.0

异常信号

  • 最大值远高于 75%,可能存在极端值或长尾。
  • 均值明显高于中位数,数据可能右偏。
  • 标准差接近或高于均值,波动可能很大。
  • 计数低于总行数,说明字段存在缺失值。
  • 某组样本数很少,组间比较可能不稳定。

本课练习

  1. 对一组订单金额计算均值、中位数、标准差和四分位距。
  2. 按渠道统计订单数量、平均金额和最大金额。
  3. 构造一个极端值,观察它对均值和中位数的不同影响。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算描述性统计

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通