04-02-mp4-损失函数（一）.mp4

损失函数是衡量模型输出与真实标签的差异

损失函数loss function

代价函数cost function

目标函数objective fuction

参数太多，会导致我们的模型复杂度上升，容易过拟合。

正则项的作用就是约束参数，降低模型复杂度。

对模型进行约束的项称为regularization正则项

通常使用L1（Lasso回归）、L2（岭回归）、L1+L2（弹性网）

pytorch中的交叉熵损失函数

通过对loss fuction调用，输入output真实输出和labels标签所在位置，进而计算loss的值，衡量前两者的差异

交叉熵其实是衡量两个概率之间分布的差异，

常常用于分类任务当中，分类任务中，通常需要计算两个输出之间的概率值，交叉熵值越低，表明两个分布越近，概率越相似

nn.LogSoftmax()其实是对数据进行归一化（函数图像是0-1区间的），把数据集归一化到概率输出值的函数上

熵：是描述一个事件的不确定性

一个事件的不确定性越高，他的熵越大

0.5的位置不确定性是最大的，所以他的熵是最大的0.69

自信息：衡量单个输出单个事件的不确定性