第二十三篇—权重衰减

部分一：损失函数的权重衰减

损失函数：

带有L2范数惩罚项的损失函数：

参数更新：

可以发现，令权重w1和w2先自乘小于1的数，再减去不含惩罚项的梯度；权重衰减通过惩罚绝对值较大的参数，为需要学习的模型增加了限制，可缓解过拟合问题。

部分二：自定义实现权重衰减

以拟合多项式函数举例：

结果：

部分三：pytorch实现权重衰减

结果：