Lucene中文分析器的中文分词准确性和性能比较.docVIP

Lucene中文分析器的中文分词准确性和性能比较 作者：approximation 对几种中文分析器，从分词准确性和效率两方面进行比较。分析器依次为：StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer（JE分词）、PaodingAnalyzer。单纯的中文分词的实现一般为按字索引或者按词索引。按字索引顾名思义，就是按单个字建立索引。按词索引就是按词喽，根据词库中的词，将文字进行切分。车东的交叉双字分割或者叫二元分词我觉得应该算是按字索引的改进，应该还是属于字索引的范畴吧。分词准确性的评估比较难，很难有统一的标准，不同应用的要求也不同，这个统一以“2008年8月8日晚，举世瞩目的北京第二十九届奥林匹克运动会开幕式在国家体育场隆重举行。”为例说明。分词效率，统一使用《射雕英雄传》的全文文本为例说明。呵呵。对于按词索引的分析器，使用统一的基本词库，词汇量为227,719个。在开发环境下运行，性能不准确，但可比较相对值。 分析器： 按字 StandardAnalyzer Lucene自带的标准分析器。 ChineseAnalyzer Lucene contrib中附带的分析器，与StandardAnalyzer类似。注意是类似啊，还是有区别的。 CJKAnalyzer Lucene contrib中附带的二元分词 按词 IK_CAnalyzer、MIK_CAnalyzer /group/blog/165287。使用版本为2.0.2 MMAnalyzer 现在能找到的必威体育精装版版本是1.5.3。不过在原始网站已经找不到下载了，而且据说声明为不提供维护和支持。因为谈论的人比较多，所以列出来。但在使用中感觉不太稳定。 PaodingAnalyzer 庖丁解牛。/p/paoding/downloads/list。使用版本为2.0.4beta。 ?? 分词准确性： StandardAnalyzer 2008/年/8/月/8/日/晚/举/世/瞩/目/的/北/京/第/二/十/九/届/奥/林/匹/克/运/动/会/开/幕/式/在/国/家/体/育/场/隆/重/举/行/ 一元分词，没什么好说的。 ChineseAnalyzer 年/月/日/晚/举/世/瞩/目/的/北/京/第/二/十/九/届/奥/林/匹/克/运/动/会/开/幕/式/在/国/家/体/育/场/隆/重/举/行/ 还是有区别吧，这是因为ChineseAnalyzer只对Character.LOWERCASE_LETTER、Character.UPPERCASE_LETTER、和Character.OTHER_LETTER进行了处理，其他类型的都滤掉了。具体可以参见代码。 CJKAnalyzer 2008/年/8/月/8/日晚/举世/世瞩/瞩目/目的/的北/北京/京第/第二/二十/十九/九届/届奥/奥林/林匹/匹克/克运/运动/动会/会开/开幕/幕式/式在/在国/国家/家体/体育/育场/场隆/隆重/重举/举行/ 二元分词，作为一元分词的改进，建立的索引小于一元，查询效率较好，能满足一般的查询要求。 PaodingAnalyzer 2008/年/8/月/8/日/晚/举世/瞩目/举世瞩目/目的/北京/二/第二/十/二十/第二十/九/十九/二十九/九届/奥林/奥林匹克/运动/运动会/奥林匹克运动会/开幕/开幕式/国家/体育/体育场/隆重/举行/隆重举行/ 细粒度全切分。对于不在词典中的词进行二元分词。 IK_CAnalyzer 2008年/2008/年/8月/8/月/8日/8/晚/举世瞩目/举世/瞩目/目的/北京/第二十九届/第二十九/第二十/第二/二十九/二十/十九/九届/九/奥林匹克运动会/奥林匹克/奥林/运动会/运动/开幕式/开幕/在国/国家/国/体育场/体育/隆重举行/隆重/举行/行/ 细粒度全切分。对于不在词典中的词进行二元分词。 MIK_CAnalyzer 2008年/8月/8日/晚/举世瞩目/目的/北京/第二十九届/奥林匹克运动会/开幕式/在国/国家/体育场/隆重举行/ 最大匹配分词。和细粒度全切分配合使用。 MMAnalyzer 2008/年/8/月/8/日/晚/举世瞩目/北京/第二十/九届/奥林匹克运动会/开幕式/国家/体育场/隆重举行/ 对于不在字典项的内容，进行一元分词。 分词性能（毫秒）： 分析器 第一次 第二次 第三次 分词数 StandardAnalyzer 243 246 241 767675 ChineseAnalyzer 245 233 242 766298 CJKAnalyzer 383 383 373 659264 PaodingAnalyzer 92