AI 与工程数学 / 系统课时

用等高线观察目标函数形状

用等高线观察目标函数形状

这一节把二维目标函数从公式变成可以直接阅读的地形图。你会用 Python 画出等高线和可行域,并从线条密度、弯曲方向和谷地形状中识别陡峭方向、狭长谷地与约束边界,从而提前判断搜索是否困难、初始点是否敏感。

学习目标

  • 能从二维等高线判断目标函数的下降方向与局部几何形状
  • 会用 Python 绘制目标函数等高线和简单可行域
  • 能从狭长谷地、鞍点和边界位置预判优化难度

等高线如何翻译目标函数形状

二维目标函数 f(x, y) 给每个平面位置一个高度。等高线把“高度相同”的点连接起来,因此可以把三维地形压到二维平面中阅读。

等高线越密,说明很短的移动就会造成较大函数值变化,对应更陡的方向;等高线越稀,变化越缓。接近同心圆的等高线通常意味着各方向尺度接近,而细长椭圆或弯曲狭谷意味着不同方向的敏感度差异很大,优化器容易在陡峭方向来回摆动,却沿谷底方向前进很慢。

鞍点附近既存在上升方向,也存在下降方向。它不是局部最小值,但在高维问题中可能出现梯度接近零的现象,因此仅看梯度大小不足以判断是否到达最优点。

目标函数等高线、狭长谷地与可行域的几何关系

用 Python 画出目标函数和可行域

下面使用 Rosenbrock 类目标函数制造一条弯曲狭谷,再叠加两个约束:x + y <= 1.5 与 y >= 0。无约束最优点 (1, 1) 不满足第一个约束,因此图上还可以直接观察“谷底”和“可行域”之间的冲突。

运行前确保环境中已安装 numpy 和 matplotlib。

python
import numpy as np
import matplotlib.pyplot as plt

def objective(x, y):
    return (1 - x) ** 2 + 50 * (y - x ** 2) ** 2

def main():
    x = np.linspace(-2.0, 2.0, 500)
    y = np.linspace(-1.0, 3.0, 500)
    X, Y = np.meshgrid(x, y)
    Z = objective(X, Y)

    # 可行域同时满足 x + y <= 1.5 和 y >= 0。
    feasible = (X + Y <= 1.5) & (Y >= 0.0)

    fig, ax = plt.subplots(figsize=(9, 6))
    levels = np.logspace(-1, 3, 18)
    contour = ax.contour(X, Y, Z, levels=levels)
    ax.clabel(contour, inline=True, fontsize=7)

    # 将不可行区域淡化,使约束与目标函数形状可以同时阅读。
    ax.contourf(
        X,
        Y,
        feasible.astype(int),
        levels=[-0.5, 0.5],
        alpha=0.25
    )

    boundary_x = np.linspace(-1.5, 1.5, 300)
    ax.plot(boundary_x, 1.5 - boundary_x, label="x + y = 1.5")
    ax.axhline(0.0, label="y = 0")
    ax.plot(1.0, 1.0, "o", label="unconstrained minimum")

    ax.set_xlim(-2.0, 2.0)
    ax.set_ylim(-1.0, 3.0)
    ax.set_xlabel("x")
    ax.set_ylabel("y")
    ax.set_title("Objective contours and feasible region")
    ax.legend()
    fig.tight_layout()
    fig.savefig("contour_feasible.png", dpi=160)
    print("saved contour_feasible.png")

if __name__ == "__main__":
    main()

预期输出:

text
saved contour_feasible.png

同时会生成 contour_feasible.png。图中 (1, 1) 位于无约束谷底,但因为 1 + 1 > 1.5,它在当前约束下不可行;真正的约束最优解只能出现在可行域内部或约束边界上。

从形状预判搜索难度

等高线特征 几何含义 对优化的影响
近似同心圆 各方向尺度接近 通常较容易搜索
狭长椭圆或弯曲谷地 不同方向曲率差异大 固定步长容易震荡或前进很慢
多个封闭低谷 存在多个吸引域 初始点可能改变最终解
双曲线形态 可能存在鞍点 梯度很小也未必是最小值
最低区域落在可行域外 无约束最优不可用 解往往被约束边界重新决定

狭长谷地常对应数值条件较差的问题。此时变量尺度归一化、预条件、二阶信息或自适应步长往往比盲目增加迭代次数更有效。

初始点应该从图上怎么选

如果等高线只有一个规则谷底,初始点通常主要影响收敛速度;如果存在多个低谷、鞍点或被约束切开的区域,初始点则可能直接改变最终答案。

对明显非凸的二维问题,可以在可行域中选取分散的多个初始点分别求解,再比较最终目标值。若不同起点进入不同谷底,就说明不能把单次结果当成全局最优证明。

等高线的价值不在于“画得好看”,而在于把数值算法看不到的整体几何形状暴露出来。先观察谷地、陡峭方向和约束边界,再选择步长、初始点和算法,往往比直接调参更高效。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

用等高线观察目标函数形状

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通