20分钟掌握RNN与LSTM原理及其结构应用（Seq2Seq & Attenti

RNN与全连接神经网络的区别

全连接神经网络的最简单的结构

RNN最简单的结构

RNN 比全连接神经网络多了个参数h0

因此RNN的神经元公式会比全连接神经网络的神经元多一项（f为激励函数）

训练过程与全连接神经网络并无区别

梯度下降原则

RNN循环神经网络的优势

模仿人类阅读的顺序去读取文本或者别的序列化数据，且通过隐藏层神经元的编码，上一个隐藏层神经元的信息可以传递到下一个隐藏层神经元，因此形成一定的记忆能力，能够更好地理解序列化数据

其他RNN循环神经网络

输入输出不等长地多输入多输出地RNN结构（Seq2Seq模型）

自编码器，输入等于输出的神经网络模型

RNN和自编码器的原理构造一个翻译机器人，同样的，这个自编码器（翻译机器人）的输入也等于输出，只不过输入与输出用不同的语言去表达罢了。

解码器decoder的输入都是译码器encoder的同一个输出，也就是说无论输入的语句是什么，编码器encoder都会将它转换成同一个中间语义h

因为一句话是有重点的，所以注意力机制应运而生

注意力机制下的seq2seq模型输入变了

输入不是直接的序列输入，而是经过编码器encoder转换的中间语义c，而这些输入C也是各自不同的，每一个C都是又权重w和译码器的隐藏层输出h加权组成

加入C1的重点在‘中’这个字，