Skip to content

Latest commit

 

History

History
26 lines (16 loc) · 1.22 KB

rnn3.md

File metadata and controls

26 lines (16 loc) · 1.22 KB

RNN 扩展

双向RNN(Bidirectional RNNs)

双向RNN如下图所示,它的思想是t时刻的输出不但依赖于之前的元素,而且还依赖之后的元素。比如,我们做完形填空,在句子中“挖”掉一个词,我们想预测这个词,我们不但会看前面的词,也会分析后面的词。双向RNN很简单,它就是两个RNN堆叠在一起,输出依赖两个RNN的隐状态。

bidirectional-rnn

深度双向RNN(Deep Bidirectional RNNs)

深度双向RNN如下图所示,它和双向RNN类似,不过多加几层。当然它的表示能力更强,需要的训练数据也更多。

stacked-bidirectional-RNN

refer to: http://fancyerii.github.io/books/rnn-intro/