深度学习计算图与梯度求导详解

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第33天，点击查看活动详情

计算图

计算图是用来描述运算的有向无环图

计算图有两个主要元素：

• 结点 Node

• 边 Edge

结点表示数据：如向量，矩阵，张量

边表示运算：如加减乘除卷积等

用计算图表示：y = (x+ w) * (w+1)
a = x + w
b = w + 1
y = a * b

计算图与梯度求导

y = (x+ w) * (w+1)
a = x + w
b = w + 1
y = a * b

$\begin{array}{rl}\frac{\partial y}{\partial w}& =\frac{\partial y}{\partial a}\frac{\partial a}{\partial w}+\frac{\partial y}{\partial b}\frac{\partial b}{\partial w}\\ & =b\ast 1+a\ast 1\\ & =b+a\\ & =(w+1)+(x+w)\\ & =2\ast w+x+1\\ & =2\ast 1+2+1=5\end{array}$

可见，对于变量w的求导过程就是寻找它在计算图中的所有路径的求导之和。

code：

import torch

w = torch.tensor([1.], requires_grad=True)
x = torch.tensor([2.], requires_grad=True)

a = torch.add(w, x)     # retain_grad()
b = torch.add(w, 1)
y = torch.mul(a, b)

y.backward()
print(w.grad)

tensor([5.])

计算图与梯度求导
y = (x+ w) * (w+1)

叶子结点 ：用户创建的结点称为叶子结点，如 X 与 W

is_leaf: 指示张量是否为叶子结点

叶子节点的作用是标志存储叶子节点的梯度，而清除在反向传播过程中的变量的梯度，以达到节省内存的目的。

当然，如果想要保存过程中变量的梯度值，可以采用retain_grad()

grad_fn: 记录创建该张量时所用的方法（函数）

• y.grad_fn= <MulBackward0>
• a.grad_fn= <AddBackward0>
• b.grad_fn= <AddBackward0>

PyTorch的动态图机制

根据计算图搭建方式，可将计算图分为动态图和静态图

• 动态图

  运算与搭建同时进行

  灵活 易调节

  例如动态图 PyTorch：

  

• 静态

  先搭建图， 后运算

  高效 不灵活。

  静态图 TensorFlow