高等数学 / 系统课时
简单线性回归
简单线性回归
简单线性回归用于描述一个解释变量与一个响应变量之间的线性关系。本课将建立总体回归模型,解释回归直线、截距、斜率和随机误差项,并区分理论模型、样本拟合值与实际观测值。
学习目标
- 写出简单线性回归模型并说明各部分含义
- 正确解释回归系数和随机误差项
- 区分总体回归直线、样本回归直线与残差
简单线性回归模型
设解释变量为 ,响应变量为 。简单线性回归假设二者的平均关系可以写成:
其中, 描述响应变量随 变化的系统性部分, 表示模型未能解释的随机波动。对给定的 ,条件均值为:
这条条件均值直线称为总体回归直线。实际观测点通常不会全部落在直线上,而是在直线附近上下波动。

回归系数与随机误差
截距 表示当 时,响应变量的平均水平。只有当 位于数据的合理范围内时,截距才具有直接业务含义;否则它主要用于确定直线位置。
斜率 表示 每增加一个单位时, 的条件均值平均改变多少。若 ,两者呈正向线性关系;若 ,呈负向线性关系;若 ,模型中不存在随 变化的线性趋势。
随机误差项 汇集了未纳入模型的影响因素、测量误差和自然波动。经典回归分析通常假设 ,并在不同 水平下具有相同方差 。这些条件保证回归直线描述的是平均趋势,而不是系统性偏差。
例如,若月广告投入以万元计,拟合关系的斜率为 ,销售额以万元计,那么广告投入每增加 1 万元,平均销售额增加 2.4 万元。斜率的解释必须同时说明两个变量的单位。
样本回归直线与残差
总体参数 和 通常未知,需要利用样本数据估计。得到估计值 和 后,样本回归直线写为:
对第 个样本, 是模型给出的拟合值, 是实际观测值,两者之差称为残差:
随机误差 是总体模型中的不可观测随机量,残差 则由样本数据计算得到。残差可以看作对随机误差的估计,但二者不能直接视为同一个概念。
回归关系也不等于因果关系。即使斜率明显不为零,也可能存在遗漏变量或反向影响。此外,不应轻易使用样本范围之外的 进行外推,因为远离已观测区域后,线性关系可能不再成立。