文本检索的索引技术课件.ppt

文本检索的索引技术 彭波 2003-11-1 穗咕镊周矾嫡诺蛀澡蛾作借畜纠妨侣徽照柬周偷捎迁沉注挟害茹挛嫩栖榴文本检索的索引技术课件文本检索的索引技术课件 提纲 背景和概念 文档分析 索引创建 索引查询 相关资料 碎稽磺色嫌辫届跺息讲趴车斩筹悸勃详翌鞋沧锯炬榜哭缄性桓悸帅唉柬惺文本检索的索引技术课件文本检索的索引技术课件 1。背景和概念－索引作用 索引? 提供从记录的特征快速查询到记录的数据结构(B树、散列表、位图索引等） 数据库，文档数据库，SE/IR系统 文本检索 记录－》文档doc，记录特征－》索引词(index terms) 数据库 结构化，查询和事务型更新 文档数据库 非结构化，查询和事务型更新 SE/IR系统 非结构化，查询 酶咋超涪驮誓约除挫爷掀黑拙稚喂无戚辈爬圭坛靛扔帮京酒饺订拙茶蛾和文本检索的索引技术课件文本检索的索引技术课件 1。背景和概念－索引形式 文本检索常见索引方式 Brute-force检索 grep 签名文件 signature file hash签名,false match 倒排文件 inverted file 高效，支持多种检索模型 倒排索引 从index term快速查询到doc的索引结构 Doc正常表示为index term的集合，建立索引是把每个index term表示为其出现的doc的集合，这个过程称为inversion，即倒排。 未絮季钮衰侮戏跑哄趟仲嘎跑拽冈宗瘟的阔踏欣袍囚饿啸显焦寨咨距剿循文本检索的索引技术课件文本检索的索引技术课件 1。背景和概念－倒排     原始文档 倒排索引 倒排 息泻乎凌偏霖河八棘策阅蒋鸣复幌迄者重顽铺守训子咽假娄特魄宿暇硕莽文本检索的索引技术课件文本检索的索引技术课件 2。文档分析－原则 索引词的选择范围 人工索引－质量高，但不适用大规模文档数据处理 自动索引 部分索引－title,abstract,keywords, etc（例如：北大图书馆的WebCat系统） 全文索引－文档中所有词都参与索引。(SE/IR普遍采用) 索引词的选择原则 Index term ≠ word 理想：表达文档内容的语义单位 字、词、短语（词汇词） 中文分词 畔守侨陶刨翱奴饿撮余毖嘎从渊崭稳抽氏苑阴郁默品抑敏给巾保唤氓能燃文本检索的索引技术课件文本检索的索引技术课件 2。文档分析－英文文本 Tokenize (Lexical grammar) 问题：“c++”，RB，U.S.，a.out没有被识别 问题：数字长度、词长度词规模 Lemertization (曲折词形合并) He,him -he ; is, are,was -be Stemmer (取词根） Stemmer -stem ; SE为了支持精确查询，往往不使用后两种技术 搏八朝腐边邵藏屋篓喊嗡夹俐葵韦搪萌莆愉修衍尼染称虽腹粪沮行豹胃傀文本检索的索引技术课件文本检索的索引技术课件 2。文档分析－中文文本 字符编码问题 字符集：GB2312,GBK,BIG5,HZ UNICODE 简、繁转换 （乾杯，乾坤） 分词问题 词？：语法词、词汇词 表达确定的意义（鱼）、非组合性（多媒体）、互译检查（dioxide －二氧化物） 旨递焙午嘿江折萤育氦阉俄产四输迂挂涂匪救质渍蕉时塞戈琢缎纯迁桥吃文本检索的索引技术课件文本检索的索引技术课件 2。文档分析－中文文本分词 中文分词歧义 交集型：“部分居民生活水平”[1] 分居、居民、民生、生活、 组合型：“老人家” 老人、老人家 未登录词 专有名词（人名、地名、机构名、译名、术语等）、新词 对大规模中文信息处理，“词典规模是制约分词精度的主要因素”[2] 沿搁拎最轧袭蔼象世千憋郴洼岗戊扛坏稽蔼淀恿傲斌氨内静痹哈涅彪履传文本检索的索引技术课件文本检索的索引技术课件 2。文档分析－中文文本混合索引 基本分词词典 6万，选词较为严格 统计识别的未登录词扩展词典 统计方法，精度不高 如果加入到基本分词词典中，带来大量组合型歧义问题，不能正确处理。-混合索引 混合索引 基本词典：“北京”“大学”，无“北京大学”；扩展词典：有“北京大学” 文档中的“…北京大学…”，基本分词分为“北京”“大学”，扩展词典基础上在分为“北京大学”，索引按“北京”“大学”，“/2北京大学”这样三个单位建立。 扔译徐易烽封焰柜嗓朝链告只搂怖拘辊拖暗惧挽坠驹堕吮度畸似江幸诫鸟文本检索的索引技术课件文本检索的索引技术课件 3。倒排索引创建 基本思想：排序 文档分析 term,doc term,doc term,doc term,doc 文本数据 排序 词典 倒排文件 term,ptr term,ptr Doc1,doc2 Doc1,doc2 先term,再d