06 矩阵计算【动手学深度学习v2】

标量导数

亚导数

• 将导数拓展到不可微的函数

梯度

• 将导数拓展到向量

• y 是一个标量，x是一个向量
• 结果是一个行向量
• 在等高线上某一点做切线，然后作正交线（梯度和等高线是正交的：梯度指向的是值变化最大的方向，通常是往大的值走）

样例

• y 是一个向量，x是一个标量
• 结果也是一个列向量

• x，y 都是向量
• 结果是一个矩阵
• y 的每一个元素与向量x进行求导，最终得到一个矩阵

Q&A

14、导数的作用主要是进行梯度下降，但容易陷入局部最优解？请问可以使用李雅普诺夫函数或者其他方法（例如模拟退火算法）来使得下降得到全局最优解吗？

• 如果是凸函数的话，可以达到最优，如果不是凸函数的话，其实很难拿到最优解，理论上，数学是可以拿到最优解的，但是数学上几乎是拿不到最优解的
• 机器学习几乎是不会处理凸函数的，如果问题能够得到最优解的话，就是P的问题，机器学习不关心P的问题，只关心NP的问题

15、一个向量的单位向量对其自身求导是多少？ d[x / |x| ] / d[ x ],分子是把它变单位向量，分母是其自身

没有白板，不进行展开计算

16、Pytorch和MXNet是采用的自动微分和计算图吧，不会再使用手动微分实现吧？

• 马上会讲到自动微分和计算图，不会让我们手动求导，但是基础数学希望大家知道（导数大概的计算过程，不需要知道整个的计算过程，但至少能够清楚导数的形状和input的形状大概应该是一个什么样的关系）

----end----