【深度学习基础】系列博客为学习Coursera上吴恩达深度学习课程所做的课程笔记。
本文为原创文章,未经本人允许,禁止转载。转载请注明出处。
1.深层循环神经网络
在解决比较复杂的问题时,我们通常会把RNN的多个层堆叠在一起来构建更深的模型:
这是一个三层的循环神经网络。对于RNN来说,三层就已经不少了,因为时间的维度会使得RNN网络变得相当大。但是我们可以在较深的层中取消水平连接,如下图所示:
图中的每个单元可以是标准的RNN结构,也可以是GRU单元或者LSTM单元。并且,我们也可以构建深层的双向RNN网络。
尽管深层RNN通常没有很多循环层,但是其训练依旧需要很多的计算资源和时间。