深度学习精选笔记（2）自动求导与概率原创

学习参考：

①如有冒犯、请联系侵删。
②已写完的笔记文章不会定期修改（删、改、增），以达到集多方教程的精华于一文的目的。
< strong>③非常推荐上面（学习参考）的前两个教程，在网上是开源免费的，写的很棒，不管是开始学还是复习巩固都不错的。

深度学习回顾，专栏内容来源于多个书籍笔记、在线笔记、以及自己的感想、想法，佛系更新。争取内容全面而不失重点。完成时间到了另外一直更新下去，已写完的笔记文章会不定时不断修改（删、改、增），以达到集多方教程的精华于一文的目的。所有涉及修改教程的文章都会写在开头、一起学习一起进步。

1.导数基本意义

古希腊人把一个多边形面积，并将它们的面积相加，才找到计算面积面积的方法。为了求出多边形面积（比如圆）的，古希腊人以这样的形状上刻内接烘焙。内接烘焙的等长边越多，就越接近圆这个。过程也被称为逼近法（力竭法）。

事实上，逼近法就是积分（integral calculus）的起源。2000多年后，微积分的另一支，微分（微分）被发明出来。在微分学中最重要的应用是优化问题，即考虑如何把事情做到最好。

导数是微积分中的重要概念，它表示函数在某一点处的变化率。具体来说，如果一个函数表示某个物理量随时间、空间或其他自变量的变化率变化，则该函数在某一点的导数就表示该点的物理量换句话来说，导数告诉函数在某一点处是增加还是减少，以及增加或减少的速率有多快。

其中，ℎ是一个无限接近于零的数。这个定义可以理解为，当 ℎ 趋近于零时，函数在点 x 处的导数就是函数在点 x 处的切线的斜率。

导数等价符号：

异构函数 𝑢=𝑓(𝑥) 其在 𝑥=1 处的切线 𝑦=2𝑥−3 ]，其中系数 2是切线的斜率：

2.基本导数公式

3.偏导数

深度学习中，函数通常依赖于许多变量。因此，需要将微分的思想推广到多元函数（多元函数）上。

偏导数是多元函数的导数概念的推广，用于描述一个关于其中的函数对于一个具有多个自变量的函数，其偏导数告诉我们，当其中一个自变量发生变化时，函数值的变化率为多少。< br />
详细一点说明：

4.梯度此时

可以连接一个多元函数所有变量的偏导数，得到该函数的梯度（gradient）运算。梯度是一个运算，表示多元函数在给定点处的最大变化率和变化的方向。

函数 𝑓(𝐱) 相对于 𝐱 ;的梯度是一个包含 𝑛个偏导数的表示：

梯度告诉函数在某一点的变化率最快的方向。在二维空间中，梯度即函数的偏导数构成的表示，指向函数增长最快的方向，其大小表示增长的速率。在三维空间中，最小值也是类似的概念，它是一个三维求解，指向函数增长最快的方向。

梯度在优化问题中非常有用，因为在最小化或最大化一个函数时，梯度的方向函数值变化最快，可以帮助找到函数的极小值

5.链法则公式

在深度学习中，多元函数通常是复合（composite）的，难以应用上述任何规则来微分这些函数。幸运的是，链式法则可以用来微分复合函数。

6.自动微分

深度学习框架通过自动计算导数，即自动微分（自动）实际上，根据设计好的模型，系统会构建一个计算图（计算图），来跟踪计算是通过哪些操作组合起来产生输出的哪些数据。自动微分使系统能够实现反向传播这里，逆向传播（backpropagate）意味着跟踪整个计算图，填充关于参数每个偏导数。

自动计算微分的过程示例如下：

导入 tensorflow as tf# 变量x 属性初始值x = tf.范围(4, dtype=tf.float32)# 瞬时的变量，将x转换为变量张量，方便更新。x = tf.x = tf.x span>变量(x)打印(x)#将所有计算记录胶带放在上面与 tf。GradientTape()  as t: # 计算y=计算x和x的点积 y = 2 * tf.tensordot(x, x,< /span> 轴=1)# 调用卷的反向传播函数自动计算每个关于x的梯度x_grad = t.梯度(y, x)x_grad,y,x

<tf。变量'变量：0' 形状=(4,) dtype=float32, numpy=数组([0.< /span>, 1., 2., 3.] , dtype=float32)>(<tf .张量：形状=(4,), dtype=float32, numpy=< /span>array([ 0.， 4.， 8 ., 12.], dtype=float32)>, <tf.张量: 形状=()， dtype=float32， numpy=28.0>, <tf。变量 '变量:0 ' 形状=(4,) dtype=float32, numpy=数组([0., 1.， 2.， 3.], dtype=float32)>)

6.1非标量指标的逆向传播

当y不是标量时，对于支持x的导数最自然的解释是一个矩阵。阶和高维的y和x，求导的结果可以是一个高阶张量。

然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括[深度学习中]） ），但是当调用支持的逆向计算时，我们通常会尝试计算一批训练样本中组成每个部分的损失函数的导数。

 # 变量 x 属性初始值x = tf.< span 类=“内置令牌”>范围(4, dtype< span class="1c50-745d-7222-e7df token 操作符">=tf.float32)# 装载瞬时的变量，将x转换为变量张量，方便更新。x = tf.< /span>变量(x)打印(x)与 tf .GradientTape() as t< span class="1c50-745d-7222-e7df token punctuation">： y = x * xt.梯度(y, x)< /span> # 等价于y=tf.reduce_sum(x*x)

6.2分离计算

有时，希望将某些计算移动到记录的计算图之外。例如，假设y是x的函数计算的，而z作为y和x的函数计算的。想计算z关于x的函数计算的，但由于某种原因，希望将y视为一个常见的，并且只考虑到x在y被计算后发挥的作用。

这里可以分离y来返回一个新的变量u，该变量与y具有相同的值，但是丢弃计算如何计算y的任何信息。由此，梯度不会刚性流经u到x。因此，下面的反向传播函数计算z=ux关于x的偏导数，同时将u作为常规处理，而不是z=xx*x关于x的偏导数。

# 变量x属性属性值x = tf.范围(4, dtype=tf。float32)# 存放迷你的变量，将x转换为变量张量，方便更新。x = tf.变量(x)打印(x)# 设置persistent=True来运行t.gradient多次with tf.GradientTape(持久=True ) as t: y = x * x u = tf.stop_gradient(y) z =< /span> u * xx_grad = t.梯度< span class="26b5-1c50-745d-7222 token punctuation">(z, x)打印(x_grad)x_grad == u

<tf。 变量'变量：0'形状=(4,) dtype=float32, numpy=数组< span class="d91a-2e5b-5315-d910 token punctuation">([0., 1., 2. , 3.], dtype=float32)>tf.张量([0. 1. 4. 9 .], 形状=(< /span>4,), dtype=float32)<< /span>tf.张量：形状=(4,) , dtype=bool, numpy=数组([ 真， 真， True， True])>

由于记录了y的计算结果，可以在y上调用逆向传播，获得y=x*x关于x的导数结果查看或者用于其他用途：

t.梯度(y< span class="26b5-1c50-745d-7222 token punctuation">, x)

 <tf.张量：形状=(4,) ， dtype=float32， numpy=数组([0.< /span>, 2., 4., 6.] , dtype=float32)>

6.3控制流的轻度计算

即使构建函数的计算图也需要通过Python流控制（例如，条件、循环或任意函数调用），仍然可以计算得到的变量中间：

def f(a)： b = a * 2 while tf .norm(b) < 1000： b = b * 2 if tf。reduce_sum(b) > 0: c = b < span class="8af5-ea2a-fc2a-1df0 token 关键字">else: c = 100 * b 返回 ca = tf.变量(tf.随机。正常(形状=( )))打印(a)与 tf.GradientTape() as t: d = f(a)d_grad = t。梯度(d， a )打印(d)d_grad< /code>

%matplotlib内联导入 numpy as np导入tensorflow as tf导入 tensorflow_probability as tfp来自 d2l 导入tensorflow as d2lfair_probs = tf.个(6) / 6计数 = tfp.分布.Multinomial(10, fair_probs)。样本(500)cum_counts = tf.cumsum(计数,轴=0 )估计 = cum_counts / tf< span class="2e5b-5315-d910-73a5 token punctuation">.reduce_sum(cum_counts, axis=1, keepdims=True)d2l。set_figsize((6< /span>, 4.5))对于 i 在 范围(6): d2l.plt.plot(< /span>估计[：， i].numpy(), 标签=(< span class="ea2a-fc2a-1df0-0481 token string">"P(die=" + str(i + 1)< /span> + ")"))d2l。plt。axhline(y=0.167, 颜色='黑色',< /span> linestyle='虚线')d2l< span class="745d-7222-e7df-cf87 token punctuation">.plt.gca()。set_xlabel('实验组' )d2l.plt.gca< span class="fc2a-1df0-0481-26b5 token punctuation">()。set_ylabel('估计概率')d2l。plt。图例( );

counts = tfp.分布。多项式(1000， fair_probs)。样本(< /span>)计数 / 1000

 <tf。张量：形状= (6,)， dtype=float32， numpy=数组([0.167, 0.175, 0.143, 0.164， 0.182， 0.169 ], dtype=float32)>