hanlp自然语言处理包的人名识别代码解析

楼主^#

更多发布于：2019-08-02 10:00

[] 1


	hanlp发射矩阵词典nr.txt中收录单字姓氏393个。袁义达在《中国的三大姓氏是如何统计出来的》文献中指出：当代中国100个常见姓氏中，集中了全国人口的87%，根据这一数据我们只保留nr.txt中的100个常见词语的姓氏角色，其他词语去掉其姓氏角色状态。过滤后，nr.txt中具有姓氏角色的单字共计97个。列于下表：丁万乔于任何余侯傅冯刘卢史叶吕吴周唐夏姚姜孔孙孟宋尹崔常康廖张彭徐戴方易曹曾朱李杜杨林梁武段毛江汤汪沈潘熊王田白石秦程罗胡苏范萧董蒋薛袁许谢谭贺贾赖赵邓邱邵邹郑郝郭金钟钱阎陆陈雷韩顾马高魏黄黎龚图片：封面.jpg 实验效果姓氏过滤前，各命名实体识别准确率 nr 33% ns 83% nt 43% 姓氏过滤后，各命名实体识别准确率 nr 36% ns 83% nt 81% 这里没有开层叠隐马预测机构名和地名，nt上升原因估计是由于很多不是人名的词语没被标为人名，那么nt的模式匹配规则匹配不上了，所以机构名准确率上来了。错误识别的人名，100个常用姓氏的不多，很多恐怕是HanLP里其他词表干预进来的。隐马一般用于分词和词性标注是比较好的，为什么通常的序列标注方法也就是BIEO方法直接用到实体识别不合适呢。用词性标注为例，每一个词它所对应的词性标记子集是有限的，而这个子集相对于词性标记全集来说是小的。但是到了实体识别则不一定，拿人名来说，除了姓氏以外，名字词语部分可以填充的词语是任意的，也就是说任何词语都有可能出现在中间位置，此时发射矩阵中的某些词实际上就没有太大意义了，因为它可能等可能的由BIEO标记发出，而如果指利用四种标记之间的转移概率信息来确定最优的标记序列势必就影响效果。因此，我们通过引入角色标记，实际上这就引入了先验知识，比如某些字只能由姓氏标记产生，某些字一般情况都充当名字首字，某些字一般情况都充当名字末字，通过给这些不同情况下的字集按照其出现的位置的分布和其语法意义做角色定义，可以缩小每种角色标记可发出的词语集合，也就是每种词语（字）所对应的标记集的大小，相当于使发射概率分布不是均匀分布，那么预测的准确性肯定就得到提高了。下边介绍一下HanLP人名识别的主要流程 1.使用使用匹配法求出各种分词路径用变量wordNetAll存储 2.用viterbi方法找到一条最优的分词路径，这里主要使用用户自定义词典以及核心词典，用序列变量vertexList存储。 3.角色观察，也就是根据发射概率矩阵列出vertexList中每个词语可能对应的角色标记。roleObserve(...)方法实现。 4.角色标注，利用viterbi方法求出最优角色标记序列。viterbiComputeSimply(...)方法实现。 5.对角色序列进行模式匹配得到人名。模式匹配定义在NRPattern类中。在精度要求比较高且时间紧的情况下，最好的提高准确率的方法为，只保留常用姓氏，只保留最可能的2gram角色标记模式。在做人名识别时还有一个注意的点，如果你的预测语料和训练语料完全在文体上差别很大，或者说你就是在公开的训练语料上训练而不在预测语料上训练的话，基本上上下文信息是没有用处的，甚至有可能上下文信息会给实体边界标注带来干扰，我想任何机器学习包括深度学习，不管是文本分类领域还是实体识别领域都会有这种泛化能力的问题，这种问题恐怕通过算法是没法解决的，如果可以解决那么任何语种任何领域都可以使用一种模型，一劳永逸了。