27个深度学习中的神经网络，这些神经网络拓扑结构应用于不同的场合，达到不同的目的，今天主要介绍每个神经网络的应用及其工作原理。

01 感知器（P）

感知器模型也称为单层神经网络，这个神经网络只包含两层：

• 输入层

• 输出层

在这种类型的神经网络中，没有隐藏层。它接受一个输入并计算每个节点的加权输入。之后，它使用激活函数（主要是sigmoid函数）进行分类。

应用：

• 分类

• 编码数据库（多层感知器）

• 监控访问数据（多层感知器）

02 前馈神经网络（FF）

前馈神经网络是一种人工神经网络，其中节点不会形成循环。在这个神经网络中，所有的感知器都是分层排列，输入层接收输入，输出层产生输出。

隐藏层与外部世界没有联系；这就是为什么它们被称为隐藏层。在前馈神经网络中，一层中的每个感知器都与下一层中的每个节点相连，因此，所有节点都是全连接的。另外需要注意的是，同一层中的节点之间没有可见或不可见的连接。

前馈网络中没有回环，因此，为了最小化预测中的误差，通常使用反向传播算法来更新权重值。

应用：

• 数据压缩

• 模式识别

• 计算机视觉

• 声纳目标识别

• 语音识别

• 手写字符识别

03 径向基函数网络（RBN）

径向基函数网络通常用于函数逼近问题，它们具有更快的学习速度和通用逼近性，可区别于其他神经网络。

径向基网络和前馈网络之间的主要区别在于RBN使用径向基函数作为激活函数。逻辑函数（sigmoid函数）给出0到1之间的输出，以确定答案是肯定的还是否定的。

但是请注意，如果有连续值，则不能使用RBN。

RBIs决定生成的输出与目标输出的距离，这些在连续值的情况下非常有用。总之，RBIs表现是使用不同激活函数的FF网络。

应用：

• 函数逼近

• 时间序列预测

• 分类

• 系统控制

04 深度前馈 (DFF)

深度前馈网络是使用多个隐藏层的前馈网络，仅使用一个隐藏层的主要问题是过度拟合，通过添加更多隐藏层，可以（并非在所有情况下）减少过度拟合并改进泛化能力。

应用

• 数据压缩

• 模式识别

• 计算机视觉

• 心电图噪声过滤

• 财务预测

05 循环神经网络（RNN）

循环神经网络(RNN)是前馈(FF)网络的变体，在这种类型中，隐藏层中的每个神经元都会接收具有特定时间延迟的输入。在需要访问当前迭代中的先前信息的时候使用这种类型的神经网络。

例如，当我们试图预测一个句子中的下一个单词时，我们需要先知道之前使用过的单词，RNN 可以处理输入并跨时间共享任何长度和权重，模型大小不会随着输入的大小而增加，并且该模型中的计算考虑了历史信息。

然而，这个神经网络的问题是计算速度慢，还有，它不能考虑当前状态的任何未来输入，因为它无法记住很久以前的信息。

应用：

• 机器翻译

• 机器人控制

• 时间序列预测

• 语音识别

• 语音合成

• 时间序列异常检测

• 节奏学习

• 音乐创作

06 长/短期记忆网络（LSTM）

LSTM网络引入了一个记忆单元，可以处理具有内存缺口的数据。上面，我们可以注意到我们要考虑RNNs中的时间延迟，在使用RNN时有大量相关数据失败时，还想从中找出相关数据，那么LSTMs是首要操作。与LSTM相比，RNN无法记住很久以前的数据。

应用：

• 语音识别

• 写作识别

07 门控循环单元（GRU）

门控循环单元是LSTM的一种变体，二者都具有相似的设计，大多时候产生同样好的结果。GRU只有三个门，它们不维护内部小组状态。

A.更新门：确定将多少过去的知识传递给未来。

b.重置门：确定要忘记多少过去的知识。

C.当前记忆门：重置命运的子部分。

应用：

• 和弦音乐建模

• 语音信号建模

• 自然语言处理

08 自动编码器（AE）

自编码器神经网络是一种无监督的机器学习算法。在自动编码器中，隐藏单元的数量小于输入单元的数量；自编码器中输入单元的数量等于输出单元的数量。

在AE网络上，我们训练它显示与fed输入一样接近的输出，迫使AEs找到共同的模式并概括数据。对于较小的输入表示，可使用自动编码器。我们可以从压缩数据重建原始数据，该算法相对简单，因为AE要求输出与输入相同。

• 编码器：以较低维度转换输入数据。

• 解码器：重建压缩数据。

应用：

• 分类

• 聚类

• 特征压缩

09 变分自编码器（VAE）

变分自编码器(VAE)使用概率方法来描述观察结果，它显示了特征集中每个属性的概率分布。

应用：

• 在句子之间插入

• 自动图像生成

10 去噪自编码器（DAE）

在这个自动编码器中，网络不能简单地将输入复制到输出，因为输入还包含随机噪声。在 DAE上，我们创作它是为了减少噪音并生成有意义的数据。这种情况下，算法会强制隐藏层学习更强大的特征，使输出是噪声输入的更精细版本。

应用：

• 特征提取

• 降维

11 稀疏自编码器(SAE)

在稀疏自编码器网络上，通过惩罚隐藏层的激活来构造损失函数，这样当将单个样本输入网络时，只有少数节点被激活。

这种方法背后的原理是：

例如，如果一个人声称自己是A、B、C和D领域的专家，那么这个人可能更像是这些领域的全能人才。但是，如果此人仅声称致力于主题D，则会期望从此人对D主题的知识中获得见解。

应用：

• 特征提取

• 手写数字识别

12 马尔可夫链（MC）

马尔可夫链是一个数学系统，它根据一些概率规则，经历从一种状态到另一种状态的转换。转换到任何特定状态的概率仅取决于当前状态和经过的时间。

例如，一些可能的状态集可以是：

• 信件

• 数字

• 天气状况

• 棒球比分

• 股票表现

应用：

• 语音识别

• 信息和通信系统

• 排队论

• 统计数据

13 HOPFIELD网络（HN）

在Hopfield神经网络中，每个神经元都与其他神经元直接相连。在这个网络中，一个神经元要么是开要么是关。神经元的状态可以通过接收来自其他神经元的输入而改变。

我们通常使用Hopfield网络(HN)来存储模式和记忆。当在一组模式上训练一个神经网络时，即使模式有点失真或不完整，它也能识别出来。当向它提供不完整的输入时，它可以识别出完整的模式，从而返回最佳猜测。

应用：

• 优化问题

• 图像检测和识别

• 医学图像识别

• 增强X射线图像

14 玻尔兹曼机网络（BM）

Boltzmann机网络涉及从原始数据集学习概率分布，并使用它来推断未知数据。

在BMs中，有输入节点和隐藏节点，在所有的隐藏节点改变状态时，输入节点就会转变为输出节点。

例如：

假设我们在核电站工作，安全必须是第一要务。我们的工作是确保动力装置中的所有组件都可以安全使用，每个组件都有相关的状态，为简单起见使用布尔值，1 表示可用，0 表示不可用。但是，也会有一些组件我们无法定期测量状态。此外，如果隐藏组件停止运行，我们没有数据告诉我们发电厂何时会爆炸。

因此，在这种情况下，我们构建了一个模型，该模型会在组件更改其状态时进行通知。因此，当它发生时，会接到通知检查该组件并确保动力装置的安全。

应用：

• 降维

• 分类

• 回归

• 协同过滤

• 特征学习

15 受限玻尔兹曼机（RBM）

RBM是BM的变体。在这个模型中，输入层和隐藏层的神经元之间存在对称连接，但是他们每一层内部没有内部连接。Boltzmann机在隐藏层有内部连接。BM中的这些限制允许对模型进行有效的训练。

应用：

• 过滤

• 特征学习

• 分类

• 风险检测

• 商业和经济分析

16 深度信念网络（DBN）

深度信念网络包含许多隐藏层，可以使用无监督算法调用DBNs，因为它第一次学习时没有任何监督。DBN中的层充当特征检测器，在无监督训练之后，再用监督方法训练模型来执行分类。

我们可以将DBN表示为受限玻尔兹曼机(RBM)和自动编码器 (AE)的组合，最后dbn使用概率方法来处理结果。

应用：

• 检索文件/图像

• 非线性降维

17 深度卷积网络（DCN）

卷积神经网络是主要用于图像分类、图像聚类和对象识别的神经网络。DNN支持无监督构建分层图像表示。DNN用于为其添加更复杂的特征，以便它能够以更高的精度执行任务。

应用：

• 识别面孔、路标、肿瘤

• 图像识别

• 视频分析

• 自然语言处理（NLP）

• 异常检测

• 药物发现

• 跳棋游戏

• 时间序列预测

18 反卷积神经网络 (DN)

反卷积网络是一种反向工作的卷积神经网络(CNN)。尽管DN在工作性质上类似于CNN，但它在AI中的应用却大不相同。

反卷积网络有助于在以前认为有用的网络中找到丢失的特征或信号。DN可能会因为与其他信号卷积而丢失信号。反卷积网络可以获取一个向量并制作出一张图片。

应用：

• 图像超分辨率

• 图像的表面深度估计

• 光流估计

19 深度卷积逆图形网络（DC-IGN）

深度卷积逆图形网络(DC-IGN)旨在将图形表示与图像相关联。它使用诸如照明、对象位置、纹理和图像设计的其他方面的元素来进行非常复杂的图像处理。

它使用不同层来处理输入和输出。深度卷积逆图形网络使用初始层通过各种卷积进行编码，利用最大池化，然后使用后续层进行解码。

应用：

• 人脸的处理

20 生成对抗网络（GAN）

给定训练数据，GANs学会生成与训练具有相同统计数据的新数据。

例如，如果我们在照片上训练我们的GAN模型，那么经过训练的模型将能够生成人眼看起来真实的新照片。GAN的目标是区分真实结果和合成结果，以便生成更真实的结果。

应用：

• 生成新的人体姿势

• 照片到表情符号

• 面部老化

• 超分辨率

• 服装翻译

• 视频预测

21 液体状态机（LSM）

液态状态机 (LSM)是一种特殊的神经网络结构，LSM由大量神经元组成。在这里，每个节点接收来自外部源和其他节点的输入，这些输入可能随时间而变化。

请注意，LSM上的节点相互随机连接。在LSMs中，激活函数被阈值水平取代。只有当LSM达到阈值水平时，特定神经元才会发出输出。

应用：

• 语音识别

• 计算机视觉

22 极限学习机（ELM）

对于更大规模的数据集传统系统的主要缺点是：

基于梯度算法的学习速度慢。

迭代地调整所有参数。

ELM随机选择隐藏节点，然后分析确定输出权重。因此，这些算法比一般的神经网络算法工作得更快。此外，在极限学习机网络上，随机分配的权重通常不会更新，ELMs只需一步即可学习输出权重。

应用：

• 分类

• 回归

• 聚类

• 稀疏近似

• 特征学习

23 回声状态网络（ESN）

回声状态网络(ESN)是循环神经网络的一个子类型，每个输入节点接收一个非线性信号。在ESN中，隐藏节点是稀疏连接的，隐藏节点的连通性和权重是随机分配的。在ESN上，最终输出权重是可训练的并且可以更新。

应用：

• 时间序列预测

• 数据挖掘

24 深度残差网络（DRN）

具有多层的深度神经网络可能难以训练，并且在训练阶段需要花费大量时间，也可能导致结果的退化。深度残差网络(DRN)可以防止结果退化，即使它们有很多层。有了DRNs，它的输入的一些部分会传递到下一层。因此，这些网络可能相当深（可能包含大约300层）。

应用：

• 图像分类

• 对象检测

• 语义分割

• 语音识别

• 语言识别

25 Kohonen网络（KN）

Kohonen网络是一种无监督算法。Kohonen Network也称为自组织图，当数据分散在多个维度上，而我们又只希望它在一维或二维中时非常有用，可以看作是一种降维的方法。我们使用Kohonen网络来可视化高维数据，它使用竞争学习而不是纠错学习。

各种拓扑：

• 矩形网格拓扑

• 六边形网格拓扑

应用：

• 降维

• 水质评估和预测

• 沿海水资源管理

26 支持向量机（SVM）

支持向量机神经网络是支持向量机和神经网络的混合算法。对于一组新的例子，它总是尝试将它们分为两类是或否（1或0）。SVM通常用于二元分类，这些通常不被视为神经网络。

应用：

• 人脸检测

• 文本分类

• 分类

• 生物信息学

• 手写识别

27 神经图灵机（NTM）

• 神经网络控制器

• 记忆库

在这个神经网络中，控制器通过输入和输出向量与外部世界交互。还通过与存储器矩阵交互来执行选择性读取和写入R/W操作。

据说图灵机在计算上等同于现代计算机。因此，NTMs通过与外部存储器交互来扩展标准神经网络的功能。

应用：

• 机器人

• 构建一个人造人脑

参考文档：

https://pub.towardsai.net/main-types-of-neural-networks-and-its-applications-tutorial-734480d7ec8e

码字不易给学姐一个鼓励的赞吧！