03 深度学习之输出层的设计

1.定义

        神经网络可以用在分类问题和回归问题上，不过需要根据情况改变输出层的激活函数。一般而言，回归问题用恒等函数，分类问题用softmax函数。

2.恒等函数

        恒等函数会将输入按原样输出，对于输入的信息，不加以任何改动地直接输出。

3.Softmax函数

        Softmax函数，或称归一化指数函数，是逻辑函数的一种推广。Softmax函数实际上有限项离散概率分布的梯度对数归一化。

• 公式：

• 图像

• 特征

  Softmax函数的输出值的总和是1。

• 目的

  通过使用 softmax函数，我们可以用概率的（统计的）方法处理问题。

• 改进

  加入常数，防止超大值进行除法运算时结果“不确定“情况。

4.输出层的神经元数量

        输出层的神经元数量需要根据待解决的问题来决定。对于分类问题，输出层的神经元数量一般设定为类别的数量。