量化软件下载：赫兹量化第三代神经网络--深度网络

1.1. 连结的体系结构

信息处理的方式很大程度上受到网络中反馈回路的有误。如果神经元之间没有反馈链路（例如，该网络具有一个顺序层级结构，每个神经元只接收来自前一层的信息），网络中的信息处理是单向的。一个输入信号经由一系列神经网络层处理，并被同层级数量相等的触点所接收。

反馈回路的存在会使得神经网络的动态（此处称为循环）不可预测。事实上，网络可能“死循环”并且永远无法给出响应。与此同时，根据图灵的结论，对于任意循环网络没有算法能够确定它的元素是否会进入平衡状态（停机问题）。

一般来说，基于在循环网络中的神经元参与处理信息许多次的事实，允许这类网络以不同的方式在更深的层级上进行信息处理。在这种情况下，需要采用特殊的措施以免网络陷入死循环。例如，使用对称节点，像Hopfield网络或者强制限制迭代的次数。

训练类型节点类型

有“监督的”

无“监督的”

无反馈环

多层传感器（函数逼近，分类）

竞争性网络，自组织图（数据压缩，特征分离）

有反馈环

循环传感器（时间序列预测，在线训练）

Hopfield网络（相联存贮器，数据聚类，优化）

表 1. 按连接和培训类型分类的神经网络

1.2. 神经网络的主要类型

从神经元开始，神经网络走过了很长的发展道路。今天大量不同的结构和训练模式的神经网络被使用。

最著名的有：

1.2.1. 多层全连接的前馈网络MLP（多层感知器）

编辑

图 1. 多层神经网络结构

1.2.2. Jordan网络是典型的循环网络并且和Elman网络类似。

它可以被看成是在输入层带有额外承接层神经元的反馈网络。

这些承接层神经元从输入层神经元中自反馈（直接反馈）。承接层神经元保存网络的当前状态。再Jordan网络中，承接层神经元的数量和输入层神经元的数量必须一致。

编辑切换为居中

图 2. Jordan网络结构

1.2.3. Elman网络是典型的循环网络并且和Jordan网络类似。Elman和Jordan网络的区别在于在Elman网络中承接层神经元的输入由输出神经元而不是隐含神经元决定。另外，在承接层神经元中无直接反馈。

在一个Elman网络中，承接和隐含神经元的数量必须一致。Elman网络的主要优点在于承接层的神经元数量不像Jordan网络那样由输出层决定，而是由隐含层神经元的数量决定的，这就使得网络更具弹性。隐含神经元不像输出神经元那样，它们能够方便的被添加或者移除。

编辑切换为居中

图 3. Elman网络结构

1.2.4. 径向基函数网络（RBF）- 是一个前馈神经网络，包含径向对称神经元的一个中间（隐藏）层。这样的神经元通过某些非线性Gaussian算法将其同特定输入向量间的距离转换为中心距。

RBF网络相比多层前馈网络而言有很多优点。首先，它们模仿（不确定这个词是否恰当）仅有一个中间层的任意一个非线性函数，省得开发者决定层数。然后，输出层线性组合参数就能够使用众多广为人知的线性优化算法来进行优化了。后者运行很快并且没有会极大干扰反向传播的本地极小值。这也是为何当使用反向传播时RBF网络的学习速度要块很多的原因。

RBF的缺点：这些网络具有弱外推特性并且当输入向量非常大时会变的低效。

编辑