刘春丽
- 作品数：2 被引量：50H指数：2
- 供职机构：西安邮电大学计算机学院更多>>
- 发文基金：陕西省普通高等学校重点学科专项资金建设项目国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于互信息改进算法的新词发现对中文分词系统改进被引量：46
- 2016年
- 提出一种非监督的新词识别方法。该方法利用互信息（PMI）的改进算法——PMIk算法与少量基本规则相结合,从大规模语料中自动识别2~n元网络新词（n为发现的新词最大长度,可以根据需要指定）。基于257MB的百度贴吧语料实验,当PMIk方法的参数为10时,结果精度达到97.39%,比PMI方法提高28.79%,实验结果表明,该新词发现方法能够有效地从大规模网络语料中发现新词。将新词发现结果编纂成用户词典,加载到汉语词法分析系统ICTCLAS中,基于10 KB的百度贴吧语料实验,比加载用户词典前的分词结果准确率、召回率和F值分别提高7.93%,3.73%和5.91%。实验表明,通过进行新词发现能有效改善分词系统对网络文本的处理效果。
- 杜丽萍李晓戈于根刘春丽刘睿
- 关键词：新词识别未登录词互信息中文分词
- 基于表示学习的中文分词被引量：5
- 2016年
- 为提高中文分词的准确率和未登录词(OOV)识别率,提出了一种基于字表示学习方法的中文分词系统。首先使用Skip-gram模型将文本中的词映射为高维向量空间中的向量;其次用K-means聚类算法将词向量聚类,并将聚类结果作为条件随机场(CRF)模型的特征进行训练;最后基于该语言模型进行分词和未登录词识别。对词向量的维数、聚类数及不同聚类算法对分词的影响进行了分析。基于第四届自然语言处理与中文计算会议(NLPCC2015)提供的微博评测语料进行测试,实验结果表明,在未利用外部知识的条件下,分词的F值和OOV识别率分别达到95.67%和94.78%,证明了将字的聚类特征加入到条件随机场模型中能有效提高中文短文本的分词性能。
- 刘春丽李晓戈刘睿范贤杜丽萍
- 关键词：聚类条件随机场中文分词
