1. 神经元的数学模型

人工神经网络（Artificial Neural Networks）简称：（Neural Networks）

1943年，沃伦·麦卡洛克和沃尔特·皮茨基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型，称为MP模型。结构如下图：

即对输入信号的加权求和再加上偏置，在经过非线性的激活函数得到输出y。

可以得到输出y的数学表达式：

2. 感知其算法

人工神经网络更进一步被美国神经学家弗兰克·罗森布拉特所发展。他提出了可以模拟人类感知能力的机器，并称之为“感知机”。也就是由一些输入输出的对，通过机器学习的方法自动获得权重w和偏置b。

1957年，在Cornell航空实验室中，他成功在IBM 704机上完成了感知机的仿真。两年后，他又成功实现了能够识别一些英文字母、基于感知机的神经计算机——Mark1，并于1960年6月23日，展示与众。

感知器算法如下：

推导如下：

Novikoff证明如果训练集是线性分隔的，那么感知器算法可以在有限次迭代后收敛。

补充：

欠拟合(underfit)

过拟合(overfit)

3. 第一次寒冬

感知器算法只能够解决线性可分数据集的分类，但是日常生活中问题大部分都是非线性可分的。1969年，马文·闵斯基和西摩尔·派普特在《Perceptrons》书中，仔细分析了以感知机为代表的单层神经网络系统的功能及局限，证明感知机不能解决简单的异或（XOR）等线性不可分问题。

4. 多层神经网络

以简单的2层神经网络为例：

即输出y为：

待求参数为w和b，两层中的函数是非线性函数的。如果函数是线性函数，则可对上述式子y化简得到：，可以用一个神经元代替。

层与层之间不加非线性函数，多层神经网络将会退化到一个神经元的感知器模型。

3层神经网络可以模拟任何非线性决策面。