第5章 神经网络

在自然语言处理（NLP）、计算机视觉（CV）领域，神经网络（NN）基本已经一统天下了。最新的强大网络架构是Transformer。

5.1 神经元模型

M-P神经元是模拟生物神经网络中的神经元而成的，也和多个神经元有连接。其基本形式如下图所示。M-P神经元接受的值是乘上权重的值。所有神经元的输入之和再加上一个阈值就是激活函数的自变量，激活函数的因变量就是M-P神经元的输出。

5.2 感知机与多层网络

感知机由两层神经元组成，即没有隐藏层。

如果在输出层加上一个属性值恒为1的结点，并使阈值等于结点的权重值，则可以将权重和阈值的学习统一为权重的学习。

相比于感知机，多层前馈神经网络是更常见的NN。如下图所示，多层前馈神经网络是全连接NN。它和感知机的不同在于有隐藏层，也就是在输入层和输出层之间还有其他的神经网络，上连隐层或输出层，下连隐层或输入层。

NN的学习过程，就是调整权重的过程。也就是说，NN学到的东西，就是这些权重的取值。

5.3 误差逆传播算法

也称反向传播算法（BP）。

一般NN的权重是需要根据训练数据不断调整的，BP是一种常见的训练算法。在数学上是易于理解的。真实结果和预测结果的误差是权重的偏差导致的，那么我们可以根据误差对权重的导数，来指导我们权重的变化方向（加大或减小）。误差对权重的求导需要用到链式法则。

尽管NN现在的效果已经非常棒了，但是还是有很多没有解决的问题，相比于线性回归等模型还是属于黑箱。

5.5中提到的大部分NN都已经不常见了。

5.4-5.6略。