高等数学 / 系统课时

方差分析假设诊断

方差分析假设诊断

方差分析的 F 检验只有在数据结构与模型假设基本匹配时才可靠。本课将按“先设计、再残差、后修正”的顺序检查独立性、正态性和方差齐性,并给出可运行的 Python 诊断示例与对应处理方案。

学习目标

  • 区分独立性、残差正态性和方差齐性各自约束的对象
  • 使用图形、设计信息与统计检验完成基本诊断
  • 根据违反假设的类型选择 Welch、变换、重复测量或非参数方案

诊断对象是模型残差

单因素方差分析可写为:

Yij=μ+τi+εijY_{ij}=\mu+\tau_i+\varepsilon_{ij}

独立、近似正态且方差相等的要求主要作用于误差项 εij\varepsilon_{ij},实际分析时用拟合后的残差进行判断。直接检查原始观测值是否正态,常会把真实的组间均值差误判为“数据不正态”。

诊断应遵循固定顺序:先确认抽样或实验设计能否支持独立性,再查看残差分布和异常点,最后检查各组波动是否接近。独立性若被破坏,后续仅靠变换或更换事后检验通常无法补救。

方差分析假设诊断与修正流程

三项假设按什么顺序检查

独立性

独立性首先是研究设计问题。随机抽样、随机分组和避免同一对象被重复计入,比任何事后统计检验都更重要。若同一受试者接受多个条件、同一门店连续多日被观测,或数据存在班级、医院等聚类结构,普通单因素方差分析的独立性通常不成立。

有自然时间顺序时,可按采集顺序绘制残差,观察连续的正负成片、周期性或趋势。即使图形没有明显模式,也只能说明未发现依赖迹象,不能证明观测绝对独立。

残差正态性

优先查看残差 Q-Q 图:中部点大致贴近直线、两端没有严重偏离时,通常可认为正态近似可接受。Shapiro-Wilk 检验可作为辅助,但小样本检验力不足,大样本又可能把轻微、无实际影响的偏离判为显著。

方差分析对轻微非正态具有一定稳健性,尤其是各组样本量接近且没有极端异常值时。真正需要警惕的是严重偏态、重尾以及少数点对均值和组内平方和产生过大影响。

方差齐性

残差对拟合值图若呈漏斗形,通常提示不同均值水平下的波动不一致。Levene 检验比 Bartlett 检验更不依赖正态性;使用各组中位数作为中心的 Brown-Forsythe 版本,对异常值更稳健。

不要只依据各组样本标准差“看起来不一样”就下结论。应结合样本量是否均衡、残差图形、检验结果以及方差差异的实际幅度共同判断。

用 Python 完成基本诊断

下面的完整示例拟合三组单因素方差分析,并对残差执行 Shapiro-Wilk 检验,对各组观测执行基于中位数的 Levene 检验。独立性仍需结合数据采集过程判断。

python
import pandas as pd
from scipy import stats
from statsmodels.formula.api import ols

data = pd.DataFrame({
    "group": ["A"] * 6 + ["B"] * 6 + ["C"] * 6,
    "score": [
        78, 81, 79, 82, 80, 77,
        84, 86, 85, 83, 87, 84,
        90, 92, 89, 91, 93, 88
    ]
})

model = ols("score ~ C(group)", data=data).fit()
residuals = model.resid

# 正态性检查针对模型残差,而不是混合全部原始观测值
shapiro_w, shapiro_p = stats.shapiro(residuals)

# center="median" 对应更稳健的 Brown-Forsythe 思路
group_values = [
    part["score"].to_numpy()
    for _, part in data.groupby("group")
]
levene_w, levene_p = stats.levene(*group_values, center="median")

print(f"Shapiro-Wilk: W={shapiro_w:.4f}, p={shapiro_p:.4f}")
print(f"Levene: W={levene_w:.4f}, p={levene_p:.4f}")

预期输出

text
Shapiro-Wilk: W=0.9464, p=0.3719
Levene: W=0.2941, p=0.7494

在显著性水平 0.05 下,两项检验都未拒绝对应原假设,因此没有发现明显的残差非正态或方差不齐证据。但这不是“假设已被证明”,仍需查看残差图、异常值和研究设计。

不同 SciPy 版本的末位小数可能略有差异,但不应改变本例的判断。真实项目中还应保存 Q-Q 图与残差对拟合值图,避免只凭两个 p 值完成诊断。

假设不满足时如何修正

问题 优先处理 说明
重复测量或聚类导致不独立 重复测量 ANOVA、混合效应模型或广义估计方程 需要显式建模同一对象或同一群组内的相关性
严重偏态或极端异常值 核查数据、合理变换、稳健方法或 Kruskal-Wallis 变换必须有业务解释,非参数方法检验的对象也不再等同于均值
方差不齐 Welch 方差分析 对各组方差和样本量不等更稳健
Welch 总体检验显著后比较组对 Games-Howell 不要求方差齐性,也允许样本量不同

若只是轻微非正态、样本量均衡且没有强影响点,经典方差分析往往仍可使用。若方差不齐与样本量不均同时出现,普通 F 检验更容易失真,应优先改用 Welch 方法,而不是机械删除数据或强行凑齐样本量。

任何修正都应重新检查模型残差,并在报告中说明采用该方案的原因。不能先尝试多种方法,再只保留最容易得到显著结果的一种。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

方差分析假设诊断

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通