行业报告 AI展会 数据标注 标注供求
数据标注数据集
主页 > 机器学习 > 正文

详细解读LSTM与GRU单元的各个公式和区别

前言
因为自己LSTM和GRU学的时间相隔很远,并且当时学的也有点小小的蒙圈,也因为最近一直在用lstm,gru等等,所以今天没事好好缕了一下,接下来跟着我一起区分并且每个单元全都非常深刻的记一下吧。
 
一、LSTM
这里我们只看内部结构

 

 
公式为

 

 
看内部结构的话为

 

 
接下来是我的理解和记忆方法以及区分。
自己对上面的图片进行了编辑,单元和公式一一对应颜色,方便自己和他人观看。

 

 
一张图清晰地搞定LSTM。
个人理解简短的说明这张图。
 
首先输入为三个值,一个是此刻的输入值x,另一个是上一时刻的状态值c,最后一个是上一个单元的输出h
 
最终输出为两个值,一个是此刻产生的状态值c和输出h
 
首先是输入值x和上一个单元的输出h,分别两个输入都有对应的权重,在经过sigmoid激活作用下得到0-1的值,也就是三个门值
 
和3差不多,依然还是 输入值x和上一个单元的输出h,两个值有对应的权重和3中的描述一模一样,的区别在于有一个tanh激活函数,最后相当于得到此时输入得到的当前state,也就是new memory。这里可以理解为输入其实是近似的x和h的concatenate操作,经过正常的的权重,最后经过tanh激活函数得到此时输入的当前的state,x相当于此刻的输入,h为前面历史的输入,合在一起就是整个序列的信息,也就是此时的new memory。
 
最后输出的state,也就是final memory的计算利用了input gate和forget gate,output gate只与输出有关。final memory的计算自然而然和上一步算得此时的记忆state相关并且和上一个输出的final memory相关,故为忘记门和Ct-1的乘积加上上一步算出来的此时单元的C和输入门的乘积为最终的state(故 c)
输出门只与输出相关,最终的输出h为输出门乘以tanh(c)
致此这里LSTM 梳理完毕
 
二、GRU
内部结构和公式

 

 

 

 
自己对上面的图片进行了编辑,单元和公式一一对应颜色,方便自己和他人观看。

 

 
这里GRU只有两个gate,一个是reset gate, 一个是update gate, update gate的作用类似于input gate和forget gate,(1-z)相当于input gate, z相当于forget gate。
 
输入为两个值,输出也为一个值,输入为输入此时时刻值x和上一个时刻的输出ht-1, 输出这个时刻的输出值ht
 
首先依然是利用xt和ht-1经过权重相乘通过sigmoid,得到两个0-1的值,即两个门值。
 
接下来这里有一些不同,并且经常容易搞混淆。对于LSTM来说依然还是xt与ht-1分别权重相乘相加,之后经过tanh函数为此时的new memory,而GRU为在这个计算过程中,在ht-1与权重乘积之后和reset gate相乘,之后最终得到new memory,这里的reset gate的作用为让这个new memory包括之前的ht-1的信息的多少。
 
接下来和lstm得到final memory其实一样,只是GRU只有两个输入,一个输出,其实这里h即输出也是state,就是说GRU的输出和state是一个值,所以4步骤得到的是new h,这步骤得到的是final h,通过update gate得到。
 
三、细数LSTM与GRU之间的不同
3.1 结构上
lstm为三个输入xt,ht-1, ct-1,两个输出。gru为两个输入xt, ht-1,一个输出ht,输出即state。
lstm有三个门,输入输出忘记门。gru有两个门,reset,update 门。
update 类似于 input gate和forget gate
 
3.2 功能上
GRU参数更少,训练速度更快,相比之下需要的数据量更少
如果有足够的数据,LSTM的效果可能好于GRU
 
Reference
https://blog.csdn.net/sinat_33741547/article/details/82821782
https://towardsdatascience.com/understanding-gru-networks-2ef37df6c9be
https://medium.com/mlrecipies/deep-learning-basics-gated-recurrent-unit-gru-1d8e9fae7280
 
声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编删除,谢谢!
 
 

微信公众号

声明:本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
SEM推广服务

Copyright©2005-2026 Sykv.com 可思数据 版权所有    京ICP备14056871号

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注行业联盟

扫码入群
扫码关注

微信公众号

返回顶部