高等数学 / 系统课时

计算图

计算图

复杂函数难以一次看清依赖关系,计算图把它拆成一组简单运算节点,并用有向边表示数据流。本课将用一个完整表达式说明节点、前向计算顺序以及它为何能支撑反向传播。

学习目标

  • 能把复合表达式拆成输入、运算和输出节点
  • 能按照依赖关系完成前向计算
  • 理解中间变量为何能简化后续梯度传播

从表达式到图结构

考虑表达式 z=(x+y)×yz=(x+y)\times y。直接阅读时,需要同时追踪加法、乘法以及变量 yy 的重复使用。计算图会先引入中间变量 a=x+ya=x+y,再写成 z=a×yz=a\times y,于是每个节点只执行一种基本运算。

图中的节点保存输入值、运算规则或中间结果;有向边表示“一个结果被哪个后续运算使用”。边从依赖项指向使用者,而且图没有环时,才能按拓扑顺序执行。无依赖关系的节点可能有多个合法顺序。

表达式拆分后的计算图

节点与边分别表示什么

输入节点提供外部数据,例如模型参数、样本特征或常量。运算节点只完成加、乘、指数、对数等局部操作。输出节点是当前任务关心的最终结果,例如损失值。

同一个变量可以流向多个节点。示例中的 yy 既参与 a=x+ya=x+y,又参与 z=a×yz=a\times y,因此图中必须保留两条从 yy 出发的边。遗漏其中一条,就会改变原表达式的含义。

前向计算如何执行

给定 x=2x=2、y=3y=3,必须先计算所有前置依赖,再计算使用这些结果的节点。

顺序 节点计算 结果
1 a=x+ya=x+y 55
2 z=a×yz=a\times y 1515

这种“先满足依赖,再执行节点”的顺序称为拓扑顺序。计算图通常是有向无环图,因为普通前向计算不能让一个节点最终又依赖自身。动态自动微分可以把实际运行的有限次循环记录为各次运算节点。某些框架则在外层图里以控制流节点表示循环。

为什么要保留中间变量

中间变量不仅让前向过程更清楚,也让求导变成局部问题。乘法节点只需要知道自己的局部导数,加法节点也只需要处理自己的输入;系统不必每次重新展开整个复合表达式。

以 z=a×yz=a\times y 为例,乘法节点对 aa 的局部导数是 yy,对 yy 的局部导数是 aa。这里的局部导数暂把 aa 当作独立输入。总导数还要加上 yy 经过 aa 的贡献,因此 dz/dy=a+y=8dz/dy=a+y=8,而 dz/dx=y=3dz/dx=y=3。这正是反向传播能够复用前向结构的关键。

构图时的常见错误

框架可以把矩阵乘法等复合操作封装成一个节点,只要为它提供正确的局部导数规则。手工构图时可先拆开复杂操作,方便逐条核对。第二类错误是遗漏变量的重复使用,使梯度只能沿部分路径返回。第三类错误是前向计算结束后丢弃所有中间值,反向阶段只能重新计算,增加时间成本。

实际框架会在内存占用和重复计算之间权衡:保留更多中间结果可以加快反向传播,但会消耗更多内存;检查点技术则只保存部分节点,反向时重算其余内容。

按自己的节奏,确认真正理解。

目录与阅读设置

阅读设置

17

记录一个想法

计算图

0 / 10000 · 笔记保存到账号。未提交的修改会在关闭、离开或刷新后丢失。

登录哪都通