1-5神经网络基础与多层感知机丨深度学习丨机器学习丨Python丨人工智能丨高等

多层感知机

无激活函数，网络退化为单层网络（矩阵乘法）

so 隐藏层加入激活函数，可避免网络退化

激活函数具备性质

常见激活函数：

• Sigmoid(常用于二分类输出的激活函数，把实数域上的值映射到0-1区间，符合概率分布形式。其导函数有两个饱和区，由于梯度非常小，也就是其导函数的值非常小，神经元进入了饱和状态【其值接近于1】 ，当大量神经元位于饱和区时，梯度太小，将无法前向传播梯度去更新其权重，使得模型训练更困难）

• Tanh（双曲正切，值域[-1,1]，零均值，会有两个饱和区，梯度接近于0，不利于神经网络权重的更新，不利于梯度前向传播）

• ReLu y=x（不存在饱和区，在卷积神经网络CNN总常见）

反向传播作用、原理

梯度下降法

学习率

Loss 损失函数

交叉熵：衡量两个概率分布的差异

softmax函数

正则化：减轻过拟合

Dropout：随机失活