IKAnalyzer分词器及lucene使用IKAnalyzer分析.doc

IKAnalyzer版本 Jar包下载 IKAnalyzer3.2.8_bin 下载地址：/p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.8%20bin.zipcan=2q= 下载后包含说明及API文档（在目录doc3.2.8中）。 源码下载 /p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.8%20source.zipcan=2q= IKSegmentation浅析（纯IK分词） IKSegmentation是IK中独立的分词器，和lucene没有关系。不继承，不扩展，不使用lucene相关的类。 IK主分词器构造函数 /** * IK主分词器构造函数 * @param input * @param isMaxWordLength 当为true时，分词器进行最大词长切分 */ public IKSegmentation(Reader input , boolean isMaxWordLength){ this.input = input ; segmentBuff = new char[BUFF_SIZE]; context = new Context(segmentBuff , isMaxWordLength); segmenters = Configuration.loadSegmenter(); } Reader input 是一个输入流，用于读取文件内容。 IKSegmentation的构造器，作了3个事 new Context(segmentBuff , isMaxWordLength) 创建上下文对象Context context = new Context(segmentBuff , isMaxWordLength); Contex主要是存储分词结果集和记录分词处理的游标位置。 Configuration.loadSegmenter() 加载词典、创建分词器 Configuration.loadSegmenter() 方法实现在加载词典，创建分词器详情如下。 /** * 初始化子分词器实现 * （目前暂时不考虑配置扩展） * @return ListISegmenter */ public static ListISegmenter loadSegmenter(){ //初始化词典单例，如果查看getInstance（）发现里面有详细的初始化词典的相关方法 Dictionary.getInstance(); ListISegmenter segmenters = new ArrayListISegmenter(4); //处理数量词的子分词器 segmenters.add(new QuantifierSegmenter()); //处理中文词的子分词器 segmenters.add(new CJKSegmenter()); //处理字母的子分词器 segmenters.add(new LetterSegmenter()); return segmenters; } 得到Lexeme 这是IK分词器的语义单元对象，相当于Lucene中的Token词元对象。由于3.0版本被设计为独立于Lucene的Java分词器实现，因此它需要Lexeme来代表分词的结果。 调用的next()方法，会返回Lexeme 对象，如果没有下一个分词结果，会返回null。 源码如下 /** * 获取下一个语义单元 * @return 没有更多的词元，则返回null * @throws IOException */ public synchronized Lexeme next() throws IOException { if(context.getResultSize() == 0){ /* * 从reader中读取数据，填充buffer * 如果reader是分次读入buffer的，那么buffer要进行移位处理 * 移位处理上次读入的但未处理的数据 */ int available = fillBuffer(input); if(available = 0){ context.resetContext(); return null; }else{ //分词处理 int a