有哪些信誉好的足球投注网站引擎第五章.pdfVIP

第五章 分词处理 Lucene 默认的分词器 • WhitespaceAnalyzer （去除空格） • SimpleAnalyzer （在切分的基础上提供了处理单词首字母 大小写转换的功能） • StopAnalyzer （在SimpleAnalyzer的基础上增加了去除停 用词功能） • StandardAnalyzer （对英文的处理能力等同于 StopAnalyzer ） • 为了能更好地处理中文，Lucene也在其contrib 目录下提 供了两个针对中文处理的工具包——ChineseAnalyzer和 CJKAnalyzer，但处理效果不甚理想。 • 为了能更好地处理中文，应该使用分词效果较好的中文分 析器，如中国科学院的ICTCLAS、庖丁解牛等组件，也可 根据自身需要开发一个有针对性的分词软件。 Analysis analysis = new StandAnalyzer(); IndexWriter write = new IndexWriter (directory, analsis, true); 常用的分词器及分词效果 1 停用词分析器 在停用词分析器StopAnalyzer中内嵌了一个通用的英语停 用词表，默认情况下会使用这个表(也可以自行设置)过 滤词汇单元中的特定字符和词汇，完成大小写转换和过 滤。StopAnalyzer有两个构造函数： 1、StopAnalyzer(): 使用默认的停用词表。 2、StopAnalyzer(String[] stopwords): 使用自定义的 String类型的数组代替默认的停用词表 参见： Lucenechapter8\src\chapter8\LuceneStopAnalyzer Text.java 2 标准分析器 Lucene默认使用标准分析器StandardAnalyzer， 它对于中文分词相当于一元分词1-gram，获得的 结果是独立的中文单个字符，不能按照概念划 分，索引中无关信息很多。StandardAnalyzer在 初始化时需要为其注入一个忽略词表。 StandardAnalyzer除了基本的根据空格和符号来 分隔原始文本信息，还使用了3个Filter，即 StandardFilter(标准过滤器，对切分出来的省略 词，如：He’s或You’d ，和以“.”号分隔的缩略语 如U.S.A进行处理)、LowerCaseFilter(大小写转 换)、StopFilter(忽略词过滤)。 参见： Lucenechapter8\src\chapter8\LuceneStanda rdAnalyzerText.java 3 简单分析器 位于org.apache.lucene.analysis.SimpleAnalyzer是一个 具备基本西文字符词汇的分析器。处理词汇单元时以非 字母字符(如空格、标点符号)作为分隔符，不做词汇过 滤，只进行词汇的分析与分隔，输出的词汇单元完成了 小写字符转换，去掉标点符号等分隔符。 参见： Lucenechapter8\src\chapter8\LuceneSimpleAnalyz erText.java 4 空格分析器 org.apache.lucene.analysis.WhitespaceAnalyzer 中。词 汇分隔策略上简单使用非英文字符作为分隔符，不做过 滤，也无大小写转换。 参见： Lucenechapter8\src\chapter8\LuceneWhitespaceA nalyzerText.java 5 关键词分析器 这是把整个输入作为一个单独的词汇单元，针对邮 编、地址等文本信息使用这个分析器。在 org.apache.lucene.analysis.KeywordAnalyzer 中 参见： Lucenechapter8\src\chapter8\LuceneKeywo rdAnalyzerText.java 6 ChineseAnalyzer ChineseAnalyzer是在下载的Lucene的 \contrib\analyzers下的lucene-analyzers- 2