AI 与工程数学 / 系统课时

画出迭代曲线检查收敛行为

画出迭代曲线检查收敛行为

优化器返回 success=True 只能说明满足了停止条件,不能说明整个求解过程健康。把每轮目标值、参数变化量和梯度范数记录下来并画成曲线,可以快速识别平台期、震荡、异常突跳,以及变量尺度或模型设置造成的收敛问题。

学习目标

  • 用 SciPy 的回调函数保存每轮优化状态
  • 从目标值、参数变化量和梯度范数判断收敛质量
  • 根据曲线形态区分求解参数问题与模型本身的问题

先记录真正有诊断价值的量

只记录最终目标值会丢掉大量信息。迭代诊断通常至少观察三个量:目标值反映优化是否持续取得进展;参数变化量反映每一步走了多远;梯度范数反映当前位置距离一阶驻点还有多远。

如果目标值已经进入平台,但梯度范数仍然较大,通常不能简单认定为收敛。相反,如果目标值几乎不变、参数变化趋近于零且梯度范数也很小,才更像正常到达驻点。

用回调记录并绘制曲线

下面以 Rosenbrock 函数为例。代码保存初始状态以及每次回调后的目标值、参数步长和梯度范数,再绘制三条对数尺度曲线。

python
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import minimize, rosen, rosen_der

x0 = np.array([-1.2, 1.0], dtype=float)
records = []
state = {'previous': x0.copy()}

# 把初始点也纳入曲线,便于观察完整下降过程。
records.append({
    'fun': rosen(x0),
    'step': np.nan,
    'grad_norm': np.linalg.norm(rosen_der(x0)),
})

def callback(xk):
    step = np.linalg.norm(xk - state['previous'])
    records.append({
        'fun': rosen(xk),
        'step': step,
        'grad_norm': np.linalg.norm(rosen_der(xk)),
    })
    state['previous'] = xk.copy()

result = minimize(
    rosen,
    x0,
    jac=rosen_der,
    method='BFGS',
    callback=callback,
    options={'gtol': 1e-8, 'maxiter': 500},
)

iterations = np.arange(len(records))
fun_values = np.array([item['fun'] for item in records])
step_values = np.array([item['step'] for item in records])
grad_values = np.array([item['grad_norm'] for item in records])

fig, axes = plt.subplots(3, 1, figsize=(8, 9))
axes[0].semilogy(iterations, np.maximum(fun_values, 1e-30), marker='o')
axes[0].set_ylabel('objective')

axes[1].semilogy(iterations[1:], step_values[1:], marker='o')
axes[1].set_ylabel('parameter step')

axes[2].semilogy(iterations, np.maximum(grad_values, 1e-30), marker='o')
axes[2].set_ylabel('gradient norm')
axes[2].set_xlabel('iteration')

plt.tight_layout()
plt.show()

print(f'success: {result.success}')
print(f'final x: {np.round(result.x, 6)}')
print(f'final fun: {result.fun:.3e}')
print(f'iterations recorded: {len(records)}')

预期输出如下。最后两项的具体小数和迭代次数可能随 SciPy 版本、数值环境略有变化,但目标值应接近零,参数应接近 [1, 1]。

text
success: True
final x: [1. 1.]
final fun: <VALUE_CLOSE_TO_0>
iterations recorded: <COUNT>

同时会出现三幅共享迭代横轴的曲线:目标值总体下降,后期参数变化逐渐缩小,梯度范数最终逼近零。

从曲线形态定位异常

健康收敛不要求每条曲线严格单调,但整体应该呈现“进展越来越小、梯度最终降低”的趋势。诊断时重点看多个指标是否互相印证,而不是只盯着目标函数。

目标值长时间几乎不变而梯度仍较大,常见原因包括变量尺度差异过大、问题病态或算法在狭长区域内移动困难。参数变化量反复变大变小并伴随目标值明显震荡,则需要检查步长策略、变量缩放、梯度实现以及目标函数是否足够平滑。

如果某一轮目标值、步长或梯度突然出现数量级突跳,应优先检查该位置附近是否存在除零、指数溢出、不可导分支、惩罚项突变或数值精度问题。仅仅增加 maxiter 往往无法解决这类根因。

判断是参数设置还是模型问题

排查时可以先保持模型不变,只调整容易验证的求解设置,例如变量缩放、梯度容差或优化方法。如果曲线随这些调整明显改善,问题更可能来自求解器配置或数值尺度。

如果换方法、做合理缩放后仍在相同区域出现梯度异常、跳变或长平台,应回到目标函数检查模型。尤其要检查变量量纲是否相差几个数量级、约束或惩罚是否制造尖点,以及解析梯度是否与数值差分一致。

最终停止状态、目标值和一条收敛曲线应该一起保存。这样当结果异常时,可以看到优化器究竟是稳定逼近了一个驻点,还是仅仅因为达到迭代上限、数值精度不足或模型异常而停止。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

画出迭代曲线检查收敛行为

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通