原创投稿 行业报告 AI展会 数据标注
投稿发布
您的当前位置:主页 > 机器学习 > 正文

CRF用过了,不妨再了解下更快的MEMM?

来源: 时间:2020-06-27
HMM、MEMM、CRF被称为是三大经典概率图模型,在之前的时代,它们被广泛用于各种序列标注相关的任务中。一个有趣的现象是,到了深度学习时代,HMM和MEMM似乎都“没落”了,舞台上就只留下CRF。相信做NLP的读者朋友们就算没亲自做过也会听说过BiLSTM+CRF做中文分词、命名实体识别等任务,却几乎没有听说过BiLSTM+HMM、BiLSTM+MEMM的,这是为什么呢?
 
今天就让我们来学习一番MEMM,并且通过与CRF的对比,来让我们更深刻地理解概率图模型的思想与设计。
 
模型推导
MEMM全称Maximum Entropy Markov Model,中文名可译为“较大熵马尔可夫模型”。不得不说,这个名字可能会吓退80%的初学者:较大熵还没搞懂,马尔可夫也不认识,这两个合起来怕不是天书?而事实上,不管是MEMM还是CRF,它们的模型都远比它们的名字来得简单,它们的概念和设计都非常朴素自然,并不难理解。
 
回顾CRF
作为对比,我们还是来回顾一下CRF。说是“回顾”,是因为笔者之前已经撰文介绍过CRF了,如果对CRF还不是很了解的读者,可以先去阅读旧作《简明条件随机场CRF介绍(附带纯Keras实现)》。简单起见,本文介绍的CRF和MEMM都是最简单的“线性链”版本。

 

如果仅局限于概念的话,那么CRF的介绍到此就结束了。总的来说,就是将目标序列当成一个整体,先给目标设计一个打分函数,然后对打分函数进行整体的softmax,这个建模理念跟普通的分类问题是一致的。CRF的困难之处在于代码实现,因为上式的分母项包含了所有路径的求和,这并不是一件容易的事情,但在概念理解上,笔者相信并没有什么特别困难之处。
 
声明:文章收集于网络,版权归原作者所有,为传播信息而发,如有侵权,请联系小编删除,谢谢!
 
 

人工智能交流群扫码邀请
人工智能交流群扫码邀请


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
数据标注服务

Copyright©2005-2020 Sykv.com 可思数据 版权所有    京ICP备14056871号

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注行业联盟

人工智能资讯   人工智能资讯   人工智能资讯   人工智能资讯

扫码入群
咨询反馈
扫码关注

微信公众号

返回顶部
关闭