RNN
RNN
我们希望NN有记忆力
RNN: 隐藏层的输出被记忆，下次被作为输入之一
也可以有多层隐藏层
两种RNN：
一种记忆隐藏层，一种记忆前一轮预测结果
传说Jordan 更好
双向的RNN
好处：产生output时看的范围更广
长 短期 记忆LSTM
4个inputs：3个门信号，一个数据input
1个output
参数会翻四倍
RNN不好训练
LSTM：可以解决梯度vanishing
- reason：
- memory and input are added
- 除非forget，否则记忆的影响不会消失