【深度学习基础】第四十四课:深层循环神经网络

深层循环神经网络

Posted by x-jeff on December 16, 2020

【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。
本文为原创文章,未经本人允许,禁止转载。转载请注明出处。

1.深层循环神经网络

在解决比较复杂的问题时,我们通常会把RNN的多个层堆叠在一起来构建更深的模型:

这是一个三层的循环神经网络。对于RNN来说,三层就已经不少了,因为时间的维度会使得RNN网络变得相当大。但是我们可以在较深的层中取消水平连接,如下图所示:

图中的每个单元可以是标准的RNN结构,也可以是GRU单元或者LSTM单元。并且,我们也可以构建深层的双向RNN网络

尽管深层RNN通常没有很多循环层,但是其训练依旧需要很多的计算资源和时间。

2.代码地址

  1. RNN的实现与应用