04-04-mp4-优化器(一).mp4

机器学习模型训练的步骤

优化器：管理并更新模型中的可学习参数（weight权值、bias偏置）的值，使得模型输出更接近真实标签，也就是使得Loss值降低 ，更新策略用梯度下降

梯度下降方法

导数：函数的变化率（一元函数）

偏导数：函数在指定坐标轴的变化率（二元函数）

方向导数：指定方向上的变化率（多元函数）

梯度：是一个向量，方向为方向导数取得最大值的方向（两个点：1、方向 2、模长）

梯度下降：就是朝着梯度的负方向去更新模型中的可学习参数（weight权值、bias偏置）

pytorch中的optimizer

基本属性

基本方法

zero_grad(): 清空锁管理参数的梯度

因为在pytorch中，张量tensor梯度grad不自动清零

step():执行一步更新，更新权重参数，采用梯度下降的策略

add_param_group():添加参数组

模型断点的续训练

使用

net.parameters() 传入模型参数，使得优化器获取模型参数

反向传播计算梯度时，先清零，不然梯度会累加

接着使用step()执行一步更新，更新权重参数

add_param_group（）的使用

（before）、optimizer.param_groups 是一个list,list里面包含一个dict，dict里面包含一个list和7个dict

（after）、optimizer.param_groups 是一个list,list里面包含2个dict，且key都命名为'params'