04-05-优化器(二).mp4

LR学习率:控制更新步长

item()张量只有一个元素的时候使用

返回一个number

一个tensor多个element使用.tolist()

使用numpy创建时

输出第一行

使用tolist（）才能变成列表

Momentum(动量、冲量)

结合当前梯度与上一次更新信息，用于当前更新

直观上，步伐加长了

指数加权平均（常用于时间序列）

思想：求取当前时刻的平均值，距离当前时刻越近的平均值参考性越大，所占的权重也就越大，权重随着时间间隔的增大呈现指数下降的趋势

θ 当前时刻参数

v 上一时刻平均值

求取第100天温度平均值

离当前时刻越远，所占权重越小

其中β小于1，常常用10天附近数据参数，1/（1-0.9）=10，故β常取0.9

β用来控制记忆周期，值越大，记忆周期越长，值越小，记忆周期越短

梯度下降

pytorch中更新公式：m:Momentum（β）

学习率不再×梯度，而是更新量

所占权重指数下降

LR=0.03更新步长比0.01长，收敛较快（momentum=0时）

震荡衰减（momentum=0.9时）LR=0.01

反弹是因为momentum过大

momentum=0.9时，LR=0.01比LR=0.03更快收敛

十种优化器