AI 与工程数学 / 系统课时
用多初值测试结果稳定性
用多初值测试结果稳定性
非凸优化从一个初始点得到一个漂亮结果,并不能证明已经找到全局最优。更可靠的做法是从多个有代表性的初始点重复求解,再比较最终目标值和参数位置,观察是否进入不同吸引域,以及单次运行的结论是否具有稳定性。
学习目标
- 用多个初始点重复执行同一个 SciPy 优化问题
- 同时比较最终目标值和参数位置,而不是只看
success - 正确理解多初值实验能够支持和不能支持的结论
多初值测试到底在检查什么
对非凸目标函数,不同初始点可能被优化器带到不同局部极小值。一次运行只能说明“从这个起点出发得到了这个结果”,不能自动升级成“这个结果就是全局最优”。
比较多次结果时至少看两个维度。目标值不同,说明不同起点可能进入了质量不同的局部最优;目标值几乎相同但参数差异很大,则可能存在多个等价解、模型对称性或不可辨识方向。
如果所有初值都收敛到接近相同的位置和目标值,这是稳定性的积极证据,但仍然不是严格的全局最优证明,因为尚未采样到的区域可能存在更好的极小值。
重复求解并汇总结果
下面构造一个具有两个极小值的二维目标函数。由于线性项打破了左右对称性,左侧极小值比右侧更低,因此非常适合展示“不同起点都成功收敛,但结果质量不同”的情况。
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import minimize
def objective(z):
x, y = z
return (x * x - 1.0) ** 2 + 0.2 * x + y * y
def gradient(z):
x, y = z
return np.array([
4.0 * x * (x * x - 1.0) + 0.2,
2.0 * y,
])
starts = np.array([
[-2.0, 1.0],
[-0.5, -1.0],
[0.5, 1.0],
[2.0, -1.0],
])
results = []
for start in starts:
result = minimize(
objective,
start,
jac=gradient,
method='BFGS',
options={'gtol': 1e-10, 'maxiter': 200},
)
# 清理浮点误差产生的极小非零值,便于比较最终位置。
final_x = result.x.copy()
final_x[np.abs(final_x) < 1e-9] = 0.0
results.append((start, final_x, result.fun, result.success))
print(
f'start={start.tolist()} -> fun={result.fun:.6f}, '
f'x={np.round(final_x, 6).tolist()}, success={result.success}'
)
best = min(results, key=lambda item: item[2])
print(f'best fun={best[2]:.6f}, x={np.round(best[1], 6).tolist()}')
# 等高线叠加初始点与最终点,可直接看到两个吸引域。
xs = np.linspace(-2.5, 2.5, 300)
ys = np.linspace(-1.8, 1.8, 240)
X, Y = np.meshgrid(xs, ys)
Z = (X * X - 1.0) ** 2 + 0.2 * X + Y * Y
final_points = np.array([item[1] for item in results])
plt.figure(figsize=(9, 6))
plt.contour(X, Y, Z, levels=25)
plt.scatter(starts[:, 0], starts[:, 1], marker='x', label='start')
plt.scatter(final_points[:, 0], final_points[:, 1], marker='o', label='final')
plt.xlabel('x')
plt.ylabel('y')
plt.legend()
plt.tight_layout()
plt.show()预期输出如下。末位小数可能因 SciPy 版本产生轻微差异,但负初值会进入左侧较低极小值,正初值会进入右侧较高极小值。
start=[-2.0, 1.0] -> fun=-0.202440, x=[-1.02412, 0.0], success=True
start=[-0.5, -1.0] -> fun=-0.202440, x=[-1.02412, 0.0], success=True
start=[0.5, 1.0] -> fun=0.197434, x=[0.973994, 0.0], success=True
start=[2.0, -1.0] -> fun=0.197434, x=[0.973994, 0.0], success=True
best fun=-0.202440, x=[-1.02412, 0.0]图中四个起点最终聚集成两组终点,这比单独查看四个 success=True 更直观地揭示了问题存在两个吸引域。
怎样判断结果是否稳定
第一步先排除失败运行。达到最大迭代次数、出现非有限数值或梯度异常的结果,不应和正常收敛结果混在一起评价稳定性。
随后按照参数距离和目标值聚类。若多个起点得到几乎相同的参数和目标值,可以视为落入同一结果簇;如果最终参数明显分成几组,就说明初始化正在影响求解终点。此时应分别比较各组目标值,而不是挑一个运行结果直接报告。
对于存在参数对称性的模型,还要避免把等价解误判成不稳定。例如交换两个完全对称的组件后,参数向量可能差异很大,但模型输出和目标值完全等价。判断稳定性时应结合模型语义,而不能只计算欧氏距离。
初始点应该怎么选
少量手工初值适合快速发现明显的多极小值问题,但正式实验应覆盖业务允许的参数区域。可以组合基准初值、边界附近初值和随机初值;使用随机采样时固定随机种子,保证结果能够复现。
初值还应尊重参数尺度。如果一个参数范围是 0.001 到 0.01,另一个范围是 1000 到 10000,直接在原始坐标中随意采样会导致覆盖严重失衡。此时应先缩放变量,或按每个参数的合理物理范围分别采样。
当多个初值持续收敛到不同结果时,应把“起点、是否成功、最终参数、最终目标值”作为一组实验数据保存下来。这样才能区分一个真正稳定的数值结论,与一次恰好落入某个局部最优的单次运行。