高等数学 / 系统课时

逻辑回归与交叉熵

逻辑回归与交叉熵

逻辑回归需要同时解决两个问题:把任意实数分数转换为概率,并让错误概率可以被稳定优化。本课从 Sigmoid 与伯努利似然出发建立二分类交叉熵,再推导出简洁的梯度 p−yp-y。

学习目标

  • 说明 Sigmoid 如何把线性分数映射为概率
  • 从最大似然推导二分类交叉熵
  • 推导逻辑回归的参数梯度并完成数值验证

从线性分数到概率

逻辑回归先计算线性分数 z=wx+bz=wx+b,再通过 Sigmoid 得到正类概率:

p=σ(z)=11+e−zp=\sigma(z)=\frac{1}{1+e^{-z}}

当 z=0z=0 时,p=0.5p=0.5;zz 越大,模型越倾向预测正类;zz 越小,模型越倾向预测负类。Sigmoid 只负责概率映射,真正决定参数如何更新的是后面的损失函数。

从似然到交叉熵

对标签 y∈{0,1}y\in\{0,1\},单个样本出现的概率可以统一写成 py(1−p)1−yp^y(1-p)^{1-y}。多个独立样本的似然是这些概率的乘积。最大化似然等价于最小化负对数似然,于是得到二分类交叉熵:

J(w,b)=−1n∑i=1n[yilog⁡pi+(1−yi)log⁡(1−pi)]J(w,b)=-\frac{1}{n}\sum_{i=1}^{n}\left[y_i\log p_i+(1-y_i)\log(1-p_i)\right]

当真实标签为 1 时,只保留 −log⁡p-\log p;当真实标签为 0 时,只保留 −log⁡(1−p)-\log(1-p)。预测越自信却越错误,损失增长越快,因此交叉熵能强烈纠正高置信度误判。

梯度为什么化简为 p-y

对单个样本使用链式法则,交叉熵关于线性分数的导数最终化简为:

∂Ji∂zi=pi−yi\frac{\partial J_i}{\partial z_i}=p_i-y_i

继续对参数求导,可得:

∂J∂w=1n∑i=1n(pi−yi)xi\frac{\partial J}{\partial w}=\frac{1}{n}\sum_{i=1}^{n}(p_i-y_i)x_i
∂J∂b=1n∑i=1n(pi−yi)\frac{\partial J}{\partial b}=\frac{1}{n}\sum_{i=1}^{n}(p_i-y_i)

这个结果非常关键:Sigmoid 导数中的 p(1−p)p(1-p) 与交叉熵求导产生的分母相互抵消。训练时只需用“预测概率减真实标签”作为误差信号,再乘对应特征。

逻辑回归交叉熵梯度链路

用一次梯度下降验证

下面用四个一维样本,从 w=0w=0、b=0b=0 开始训练一步。损失直接使用 logits,概率用于计算误差信号。初始概率都是 0.50.5,更新后正负样本应被推向不同方向。

python
import numpy as np

x = np.array([-2.0, -1.0, 1.0, 2.0])
y = np.array([0.0, 0.0, 1.0, 1.0])

def sigmoid(value: np.ndarray) -> np.ndarray:
    weight = np.exp(-np.abs(value))
    return np.where(value >= 0, 1.0 / (1.0 + weight), weight / (1.0 + weight))

def binary_cross_entropy(logits: np.ndarray, labels: np.ndarray) -> float:
    # labels 为 0 或 1。按带符号的 logit 计算 softplus
    signed = (1.0 - 2.0 * labels) * logits
    return float(np.mean(np.logaddexp(0.0, signed)))

w, b = 0.0, 0.0
logits = w * x + b
p = sigmoid(logits)

# 交叉熵与 Sigmoid 组合后的解析梯度
grad_w = np.mean((p - y) * x)
grad_b = np.mean(p - y)

print(f'initial loss: {binary_cross_entropy(logits, y):.4f}')
print('probabilities:', np.round(p, 4))
print(f'grad_w: {grad_w:.4f}')
print(f'grad_b: {grad_b:.4f}')

learning_rate = 0.5
w -= learning_rate * grad_w
b -= learning_rate * grad_b
updated_logits = w * x + b
updated_p = sigmoid(updated_logits)

print(f'updated w: {w:.4f}')
print('updated probabilities:', np.round(updated_p, 4))
print(f'updated loss: {binary_cross_entropy(updated_logits, y):.4f}')

预期输出:

text
initial loss: 0.6931
probabilities: [0.5 0.5 0.5 0.5]
grad_w: -0.7500
grad_b: 0.0000
updated w: 0.3750
updated probabilities: [0.3208 0.4073 0.5927 0.6792]
updated loss: 0.4550

更新后,负类样本的概率下降,正类样本的概率上升,交叉熵也从 0.69310.6931 降到 0.45500.4550。这说明 p−yp-y 给出了正确的误差方向。

数值稳定与决策边界

直接计算 log⁡p\log p 或 log⁡(1−p)\log(1-p) 时,若概率被舍入为 0 或 1,就会出现无穷大。可直接计算 log⁡(1+exp⁡((1−2y)z))\log(1+\exp((1-2y)z)),用 logaddexp 避免先算概率再取对数。若 y=0y=0 而 z=1000z=1000,损失约为 10001000,可以保留高置信误判的真实惩罚。对本课可完全分离的样本,无正则的交叉熵可沿分离方向越来越接近零,但没有有限参数取到零。

概率阈值只影响预测结果,不参与上述损失推导。常见阈值是 0.50.5,对应决策边界 wx+b=0wx+b=0;类别不平衡或误判成本不同的任务,可以在验证集上重新选择阈值,而不是随意修改训练标签。

易混淆点

  • 逻辑回归虽然名称含“回归”,解决的通常是分类问题,输出是类别概率。
  • 交叉熵衡量概率分布与标签的差异,不能只看最终分类是否正确。
  • 使用 MSE 也能训练 Sigmoid 模型,但梯度更容易在饱和区变小,通常不如交叉熵直接。
按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

逻辑回归与交叉熵

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通