有哪些信誉好的足球投注网站引擎中汉语分词的原理与实现.doc

有哪些信誉好的足球投注网站引擎中文分词原理与实现 因为中文文本中，词和词之间不像英文一样存在边界，所以中文分词是一个专业处理中文信息的有哪些信誉好的足球投注网站引擎首先面对的问题，需要靠程序来切分出词。 一、Lucene中的中文分词 ????????Lucene在中处理中文的常用方法有三种，以“咬死猎人的狗”为例说明之： ????? ? 单 ? ? ?字：【咬】 【死】 【猎】 【人】 【的】 【狗】 ????? ? 二元覆盖：【咬死】 【死猎】 【猎人】 【人的】 【的狗】 ????? ? 分 ? ? ?词：【咬】 【死】 【猎人】 【的】 【狗】 ????????Lucene中的StandardTokenizer采用单子分词方式，CJKTokenizer采用二元覆盖方式。 1、Lucene切分原理 ????????Lucene中负责语言处理的部分在 org.apache.lucene.analysis包，其中，TokenStream类用来进行基本的分词工作，Analyzer类是 TokenStream的包装类，负责整个解析工作，Analyzer类接收整段文本，解析出有意义的词语。 ????? ? 通常不需要直接调用分词的处理类analysis，而是由Lucene内存内部来调用，其中： ????? ? （1）在索引阶段，调用addDocument（doc）时，Lucene内部使用Analyzer来处理每个需要索引的列，具体如下图： ????? ?? 图1 Lucene对索引文本的处理 ????? ? IndexWriter index = new IndexWriter(indexDirectory, ????????????????????????????????????????????????? ? new CnAnalyzer(),????? ? //用于支持分词的分析器 ????????????????????????????????????????????????? ? !incremental, ????????????????????????????????????????????????? ? IndexWriter.MaxFieldLength.UNLIMITED); ????? ? （2）在有哪些信誉好的足球投注网站阶段，调用QueryParser.parse（queryText）来解析查询串时，QueryParser会调用Analyzer来拆分查询字符串，但是对于通配符等查询不会调用Analyzer。 ????? ? Analyzer analyzer = new CnAnalyzer();????????????????????? ? //支持中文的分词 ????? ? QueryParser parser = new QueryParser(Version.LUCENE_CURRENT, title, analyzer); ????? ? 因为在索引和有哪些信誉好的足球投注网站阶段都调用了分词过程，索引和有哪些信誉好的足球投注网站的切分处理要尽量一致，所以分词效果改变后需要重建索引。 ????? ? 为了测试Lucene的切分效果，下面是直接调用Analysis的例子： ????? ? Analyzer analyzer = new CnAnalyzer();????????????????????? ? //创建一个中文分析器 ????? ? TokenStream ts = analyzer.tokenStream(myfield, new StringReader(待切分文本));? ? //取得Token流 ????? ? while (ts.incrementToken()) {????????????????????????????????? ? //取得下一个词 ????????????? ? System.out.println(token:?+ ts); ????? ? } 2、Lucene中的Analyzer ????? ? 为了更好地有哪些信誉好的足球投注网站中文，通过下图来了解一下在Lucene中通过WhitespaceTokenizer、WordDelimiterFilter、LowercaseFilter处理英文字符串的流程： 图2 Lucene处理英文字符串流程 二、查找词典算法 ????? ? 词典格式可以是方便人工查看和编辑的文本文件格式，也可以是方便机器读入的二进制格式。词典的最基本文本文件格式就是每行一个词。在基于词典的中文分词方 法中，词典匹配算法是基础。一般词典规模都在几十万词以上，所以为了保证切分速度，需要选择一个好的查找词典算法。 1、标准Trie树 ????? ? 一个数字有哪些信誉好的足球投注网站Trie树的一个节点只保留一个字符，如果一个单词比一个字符长，则包含第一个字符的节点有指针指向下一个字符