AI 与工程数学 / 系统课时

用多初值测试结果稳定性

用多初值测试结果稳定性

非凸优化从一个初始点得到一个漂亮结果,并不能证明已经找到全局最优。更可靠的做法是从多个有代表性的初始点重复求解,再比较最终目标值和参数位置,观察是否进入不同吸引域,以及单次运行的结论是否具有稳定性。

学习目标

  • 用多个初始点重复执行同一个 SciPy 优化问题
  • 同时比较最终目标值和参数位置,而不是只看 success
  • 正确理解多初值实验能够支持和不能支持的结论

多初值测试到底在检查什么

对非凸目标函数,不同初始点可能被优化器带到不同局部极小值。一次运行只能说明“从这个起点出发得到了这个结果”,不能自动升级成“这个结果就是全局最优”。

比较多次结果时至少看两个维度。目标值不同,说明不同起点可能进入了质量不同的局部最优;目标值几乎相同但参数差异很大,则可能存在多个等价解、模型对称性或不可辨识方向。

如果所有初值都收敛到接近相同的位置和目标值,这是稳定性的积极证据,但仍然不是严格的全局最优证明,因为尚未采样到的区域可能存在更好的极小值。

重复求解并汇总结果

下面构造一个具有两个极小值的二维目标函数。由于线性项打破了左右对称性,左侧极小值比右侧更低,因此非常适合展示“不同起点都成功收敛,但结果质量不同”的情况。

python
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import minimize

def objective(z):
    x, y = z
    return (x * x - 1.0) ** 2 + 0.2 * x + y * y

def gradient(z):
    x, y = z
    return np.array([
        4.0 * x * (x * x - 1.0) + 0.2,
        2.0 * y,
    ])

starts = np.array([
    [-2.0, 1.0],
    [-0.5, -1.0],
    [0.5, 1.0],
    [2.0, -1.0],
])

results = []
for start in starts:
    result = minimize(
        objective,
        start,
        jac=gradient,
        method='BFGS',
        options={'gtol': 1e-10, 'maxiter': 200},
    )

    # 清理浮点误差产生的极小非零值,便于比较最终位置。
    final_x = result.x.copy()
    final_x[np.abs(final_x) < 1e-9] = 0.0
    results.append((start, final_x, result.fun, result.success))

    print(
        f'start={start.tolist()} -> fun={result.fun:.6f}, '
        f'x={np.round(final_x, 6).tolist()}, success={result.success}'
    )

best = min(results, key=lambda item: item[2])
print(f'best fun={best[2]:.6f}, x={np.round(best[1], 6).tolist()}')

# 等高线叠加初始点与最终点,可直接看到两个吸引域。
xs = np.linspace(-2.5, 2.5, 300)
ys = np.linspace(-1.8, 1.8, 240)
X, Y = np.meshgrid(xs, ys)
Z = (X * X - 1.0) ** 2 + 0.2 * X + Y * Y

final_points = np.array([item[1] for item in results])
plt.figure(figsize=(9, 6))
plt.contour(X, Y, Z, levels=25)
plt.scatter(starts[:, 0], starts[:, 1], marker='x', label='start')
plt.scatter(final_points[:, 0], final_points[:, 1], marker='o', label='final')
plt.xlabel('x')
plt.ylabel('y')
plt.legend()
plt.tight_layout()
plt.show()

预期输出如下。末位小数可能因 SciPy 版本产生轻微差异,但负初值会进入左侧较低极小值,正初值会进入右侧较高极小值。

text
start=[-2.0, 1.0] -> fun=-0.202440, x=[-1.02412, 0.0], success=True
start=[-0.5, -1.0] -> fun=-0.202440, x=[-1.02412, 0.0], success=True
start=[0.5, 1.0] -> fun=0.197434, x=[0.973994, 0.0], success=True
start=[2.0, -1.0] -> fun=0.197434, x=[0.973994, 0.0], success=True
best fun=-0.202440, x=[-1.02412, 0.0]

图中四个起点最终聚集成两组终点,这比单独查看四个 success=True 更直观地揭示了问题存在两个吸引域。

怎样判断结果是否稳定

第一步先排除失败运行。达到最大迭代次数、出现非有限数值或梯度异常的结果,不应和正常收敛结果混在一起评价稳定性。

随后按照参数距离和目标值聚类。若多个起点得到几乎相同的参数和目标值,可以视为落入同一结果簇;如果最终参数明显分成几组,就说明初始化正在影响求解终点。此时应分别比较各组目标值,而不是挑一个运行结果直接报告。

对于存在参数对称性的模型,还要避免把等价解误判成不稳定。例如交换两个完全对称的组件后,参数向量可能差异很大,但模型输出和目标值完全等价。判断稳定性时应结合模型语义,而不能只计算欧氏距离。

初始点应该怎么选

少量手工初值适合快速发现明显的多极小值问题,但正式实验应覆盖业务允许的参数区域。可以组合基准初值、边界附近初值和随机初值;使用随机采样时固定随机种子,保证结果能够复现。

初值还应尊重参数尺度。如果一个参数范围是 0.001 到 0.01,另一个范围是 1000 到 10000,直接在原始坐标中随意采样会导致覆盖严重失衡。此时应先缩放变量,或按每个参数的合理物理范围分别采样。

当多个初值持续收敛到不同结果时,应把“起点、是否成功、最终参数、最终目标值”作为一组实验数据保存下来。这样才能区分一个真正稳定的数值结论,与一次恰好落入某个局部最优的单次运行。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用多初值测试结果稳定性

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通