《面向大规模信息检索的中文分词技术研究.ppt

七、实验结果和分析 分词测试结果 表8 pku语料库测试结果 IRSEG ICTCLAS FMM P 0.933 0.920 0.856 R 0.921 0.911 0.887 Povv 0.804 0.641 0.000 Rovv 0.653 0.599 0.000 RIV 0.982 0.981 0.952 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 分词和大规模中文信息检索之间的关系探讨 原因： 查询切分和文档切分采用相同的分词算法，有一些文件切分错误的词，在查询时也遇到相同的切分错误，所以即使切分阶段错误，但最后相同错误匹配，使得仍然可以正确检索到； 有些词被错误的切分成几个部分，尽管这样会导致分词正确率下降，但对于检索来说，最后可以通过结果合并得到正确的结果，分词的错误并不影响检索的性能； 分词测得的准确率高低并不是绝对的，有时跟用标准答案有关。这涉及到对词的定义问题，有些标准答案认为是该切分的词，实际上不切分用于检索更加准确一些。如：“国\内”vs”国内“ 、“民进党团”vs”民进\党团“vs”民进党\团“ Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 适用于大规模中文信息检索的分词算法 分词算法的时间性能要比较高。尤其是现在的web有哪些信誉好的足球投注网站，实时性要求很高。所以作为中文信息处理基础的分词首先必须占用尽可能少的时间。 分词正确率的提高并不一定带来检索性能的提高。分词到达一定精度之后，对中文信息检索的影响不再会很明显，虽然仍然还是有一些影响，但是这已经不是CIR的性能瓶颈。所以片面的一味追求高准确率的分词算法并不是很适合大规模中文信息检索。在时间和精度之间存在矛盾无法兼顾的情况下，我们需要在二者之间找到一个合适的平衡点。 切分的颗粒度仍然可以依照长词优先准则，但是需要在查询扩展层面进行相关后续处理。在信息检索中，分词算法只需要集中精力考虑如何消除交叉歧义。对于覆盖歧义，我们可以利用词典的二次索引和查询扩展来解决。 未登录词识别的准确率要比召回率更加重要。要尽量保证未登录词识别时不进行错误结合，避免因此切分出错误的未登录词。如果将单字错误的结合成未登录词了，则有可能导致无法正确检索到相应的文档。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 适用于大规模中文信息检索的分词算法 待切分文本 初切分结果 核心词典 消除交叉歧义 未登录词识别 新词词典 切分结果 交叉歧义检测 图3 面向大规模中文信息检索的分词算法流程图 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 三、基于双数组Trie树优化算法的词典 图4. 传统的Trie树结构转换成两个线性数组 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 三、基于双数组Trie树优化算法的词典 s t c base s check s t c 图4. 双数组Trie树的状态转移示意图 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 三、基于双数组Trie树优化算法的词典 数组构造的基本思想： 对6763个常用汉字根据其内码相应的赋予从1－6763的序列码，放入base[1]-base[6763]。若首字序列码是i的词语有n个，设所有第二个字的序列码依次为a1,a2,a3,an,则这n个第二字在base数组中的位置依次为 base[i]+a1,base[i]+a2,…base[i]+an。依次类推第三字、第四字……第k字的位置。 如果base[