01 深度学习之激活函数

1.阶跃函数

        定义：

        阶跃函数是一种特殊的连续时间函数，是一个从0跳变到1的过程，属于奇异函数。

        公式：

        图像：

 2.sigmoid 函数

        定义:

        激活函数的作用在于决定如何来激活输入信号的总和。

        公式：

        图像：

        作用：

        sigmoid函数是一条平滑的曲线，输出随着输入发生连续性的变化，sigmoid函数的平滑性对神经网络的学习具有重要意义。

        区别：

        神经网络中使用的是平滑变化的sigmoid函数，而感知机中使用的是信号急剧变化的阶跃函数。

3.ReLU（Rectified Linear Unit）函数

        定义：

        线性整流函数（Rectified Linear Unit, ReLU），又称修正线性单元。ReLU函数在输入大于 0时，直接输出该值；在输入小于等于 0时，输出 0。

        公式：

        图像：

        作用：

        增加神经网络各层之间的非线性关系。