李宏毅手撕LSTM

RNN

首先是计算的细节 这个很清晰

这个图展示了应用上的

deep RNN

ELman Network & Jordan Network

Jordan Network 多了一个y值 可能更准确

也可以是双向的 同时train正向的 和 逆向的

Bidirectional RNN

LSTM Long Short-term Memory

现在比较常用

首先是一个input gate关起来的话就无法写入，机器可以自己学习的；output gate决定能不能从memory cell 中输出，也是可以学习；最后一个forget gate 决定什么时候forget掉存在memory cell的东西。

看图 很清晰

gate 那里用sigmoid 0到1之间可以更好地表示打开和关闭的程度

f(Zi)就是控制z可不可以输入的关卡

f(Zf)就是控制保不保存之前的记忆C

就是forget打开（1）代表保留，关闭代表遗忘，这个名字很怪

具体见下图

举例

演示

其实就是乘上不同的w去操纵 4个input 参数量是4倍

多层