当前位置:首页 » 今日头条自媒体 » 正文

循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。

103163 人参与  2017年12月22日 12:55  分类 : 今日头条自媒体  评论


0. 从RNN说起

循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题。

2

 普通RNN

先简单介绍一下一般的RNN。

其主要形式如下图所示(图片均来自台大李宏毅教授的PPT):

1..jpg

通过序列形式的输入,我们能够得到如下形式的RNN。

3

  LSTM

2.1 什么是LSTM

长短期记忆(Long short-term memory, LSTM)是一种特殊的RNN,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说,就是相比普通的RNN,LSTM能够在更长的序列中有更好的表现。

LSTM结构(图右)和普通RNN的主要输入输出区别如下所示。

2..jpg

2.2 深入LSTM结构

下面具体对LSTM的内部结构来进行剖析。

3..jpg

下面开始进一步介绍这四个状态在LSTM内部的使用。(敲黑板)

4..jpg

LSTM内部主要有三个阶段:

5..jpg

4

  总结

以上,就是LSTM的内部结构。通过门控状态来控制传输状态,记住需要长时间记忆的,忘记不重要的信息;而不像普通的RNN那样只能够“呆萌”地仅有一种记忆叠加方式。对很多需要“长期记忆”的任务来说,尤其好用。

但也因为引入了很多内容,导致参数变多,也使得训练难度加大了很多。因此很多时候我们往往会使用效果和LSTM相当但参数更少的GRU来构建大训练量的模型。


本文链接:https://www.woshiqian.com/post/1717.html

百度分享获取地址:https://share.baidu.com/code

我是钱微信/QQ:5087088

广告位、广告合作QQ:5087088

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

       

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。