去停用词及词干抽取.ppt

信息检索实验 （二）去停用词及词干抽取 信息检索实验课程 一、实验目的 本实验目的为，在实验一的基础上，去除没有实际意义的停用词（如a, the, of…），并进行次干抽取。 要求：给定一篇.txt英文文档，计算机读入并统计该篇文章由哪些词组成，去除没有实际意义的停用词，并对各英文词汇进行词干抽取之后，按字母顺序输出出现过的词干，以及每个词干的出现频率。 二、实验要求 本实验计算机语言任选，在Windows环境下完成。 要求能按照计算机保存的路径或输入路径读入相应文件，并将结果按照字母顺序输出在控制台。 要求能对数字及标点符号进行基本的处理。 本实验建议采用波特词干算法完成。 三、实验数据来源 本实验数据要求为有一定长度的任意英文文段，要求为真实有意义的文段，由代码实验者自行给定。 停用词表需要由实验者自行搜寻获取，或是自己制定应去除的停用词。 四、核心代码提示 本实验建议用Lucene及波特词干算法进行完成，其核心代码如下：（1） 构造分析器Analyzer //读取自己的停用词表 BufferedReader brstop = new BufferedReader(new FileReader(stopwords.txt)); //在构造分析器的同时把停用词表传给分析器 Analyzer analyzer = new StopAnalyzer(Version.LUCENE_47, brstop); 获取语汇单元流并提取词干 // 获取存储了分词信息的流 ts = analyzer.tokenStream(null, brfile); // 对获取的TokenStream流进行过滤 ts = new PorterStemFilter(ts); 四、核心代码提示 本实验建议用Lucene及波特词干算法进行完成，其核心代码如下：（2） 从语汇单元流中获取单词并进行词频统计 // 通过addAttribute获取语汇单元对应的文本 CharTermAttribute cta = ts.addAttribute(CharTermAttribute.class); ts.reset(); // 通过incrementToken()递归访问所有的语汇单元 while (ts.incrementToken()) { String word = cta.toString(); int freq = 0; // 进行词频统计并利用Map容器存储 if (wordmap.containsKey(word)) { freq = wordmap.get(word) + 1; wordmap.put(word, freq); } else { wordmap.put(word, 1); } } 五、参考资料 Apache Lucene： / Lucene 使用教程：/tianlincao/article/details/6867127 波特词干算法（Java）：http://qinxuye.me/article/porter-stemmer/ 波特词干算法的C语言实现 ：/link?url=zesMGy8RqlfnP5gaDtb0ioCBVmerSrxabTgmo9QQHjk7GChaDgtUnLvGFxK97goDBaUMTBHN5GiqMEolC5Y__iYnaQdGTqKiAwimyrgNU3C 六、其他参考资料 1. 李晓明. 有哪些信誉好的足球投注网站引擎--原理、技术与系统. 科学出版社，2012 2. 罗刚. 解密有哪些信誉好的足球投注网站引擎技术实战 : Lucene Java精华版 电子工业出版社, 2011 3. 王学松. LUCENE+NUTCH有哪些信誉好的足球投注网站引擎开发. 人民邮电出版社, 2008 4. 邱哲，符滔滔. 开发自己的有哪些信誉好的足球投注网站引擎--LUCENE+HERITRIX. 人民邮电出版社, 2010 5. 布切尔. 信息检索 : 实现和评价有哪些信誉好的足球投注网站引擎: implementing and evaluating search engines. 机械工业出版社, 2012 * * * * * * * * * * * * * *