LSTM原理介绍 时间展开步与深度方向展开

循环神经网络

Recurrent Neural Networks

RNN 可以通过不停的将信息循环操作，保证信息持续存在，从而解决上述问题。

A是一组神经网络（一个网络的自循环），不停的接受xt,并且输出ht。

LSTM网络

特殊的RNN，解决了长依赖网络的问题

理解LSTM

前面提到的LSTM由三个门来控制细胞状态，这三个门分别称为遗忘门、输入门和输出门，并通过传输带来保持记忆。

传输带

LSTMS的核心是细胞的水平线表示

细胞状态像传送带一样，贯穿整个细胞却只有很少的分支，能够保证信息不变的流过整个RNNs,

Ct长久的记忆

ht隐藏层的状态

门：能够删除或者添加信息

就是一个sigmoid层和一个点乘操作的组合

a 就是忘掉或者增加的东西，经过sigmoid的函数，转化为0.1的数，之后选择性的把c里面的忘掉

遗忘门

c是网络层的长时间记忆

ft如何来的，wf是权值向量参数，之后点乘，上一网络的状态和输入的状态拼接，之后再经过sigmoid得到ft

输入门

i 决定我们要更新传送带的值

it和ct选择性忘掉波浪的东西，添加新的东西

wi也是要根据梯度下降法学习的

c波浪t ：短时记忆

输入值：传入的值

Ct就可以更新了

忘掉f*上一层的向量

C波浪t 短时记忆，之后it输入的作用

Ct是作为ht的，作为下一时刻的ct-1

输出门：

三个sigmoid 两个正切

行：h的维度

列：行的维度+输入向量的维度

4个这样的参数，所以要乘以4