第6章信息检索与服务.pptxVIP

第6章信息检索与服务

6.1信息检索技术6.1.1检索模型概述6.1.2布尔模型6.1.3向量空间模型6.1.4概率模型6.1.5全文检索6.1.6语义检索

6.1信息检索技术(续)6.1.7超文本模型6.1.8多媒体检索6.1.9跨语言检索6.1.10分布式检索6.1.11P2P检索6.1.12网格信息检索

信息检索过程信息检索过程实际上涉及到三个重要的处理：文档集的逻辑表示查询的表示相似匹配及其排序对上述因素和检索过程建模（抽象描述），产生各种不同的信息检索模型

图6-1信息检索系统的一般模型表达式构造标引信息资源信息资源替代物需求替代物用户需求检索结果相关性判断

6.1.2布尔模型布尔检索模型的理论基础是布尔逻辑和集合理论

6.1.2布尔模型布尔逻辑主要内容:命题逻辑与谓词逻辑布尔逻辑是数理逻辑的基础部分利用符号来表示逻辑中的各种概念建立了一系列的运算法则，利用代数的方法研究逻辑问题

布尔运算布尔逻辑运算符:“与（AND）”、“或(OR)”、“非(NOT)”运算的定义

传统布尔检索模型文献表示将文档表示成一个集合，集合中的每个元素都为一个二元变量，取值非“0”即“1”，表示该元素所代表的主题词是否包含在该篇文档之内。若包括在文档中，则元素取值为1，反之则取0。给定一个文献集合D，包含m篇文献，分别用d1,d2,d3……dm表示。再给出一个标引词集合T，包含n个标引词t1,t2,……,tn。假定对文献集D的描述完全是基于该标引词集合的,则文献集D中任意一篇文献di就可以表示为（di1,di2,……,din）

传统布尔检索模型查询表示在布尔检索系统中，根据用户提出的检索需求，选取适当的检索标识，与布尔运算符“与”、“或”、“非”共同构成与查询相符的检索提问式，也即相应的布尔表达式例如:1)“飞碟”2)“飞碟”AND“美国”3)“飞碟”AND(“中国”OR(NOT“科幻小说”))

传统布尔检索模型查询表示布尔提问式q=t1and（t2ornott3）q的主析取范式（t1andt2andt3）or（t1andt2andnott3）or（t1andnott2andnott3）q的简化形式qdnf（1，1，1）or（1，1，0）or（1，0，0）,其中，（1，1，1）、（1，1，0）和（1，0，0）是qdnf的3个合取子项（合取子项可用符号qcc表示）

传统布尔检索模型匹配函数菊池敏典算法

传统布尔检索模型文献D1=(t1,t2,nott3)查询Q=t1andt2andnott3

布尔检索示例

传统布尔查询的评价该模型结构简单、容易实现和快速检索。

传统布尔查询的评价布尔模型在检索系统的开发与应用中表现出的主要问题有：（1）准确匹配（exactmatching）策略问题。布尔模型采用准确匹配策略，对检索过程中客观存在的一些不确定性情形绝对排斥，认为一篇文献对于某一提问要么是“相关的”，要么是“不相关的”。这种“非此即彼”的二值判断标准严重影响到检索系统的性能改善，并带来其他一些相关问题。（2）布尔逻辑表达用户需求的能力问题。把用户的一个信息需求转换成一个恰当的布尔表达式，在很多情况下并不容易实现。

传统布尔查询的评价为了弥补这些缺陷，发展了一些别的检索模型，如向量空间、扩展布尔、概率检索和聚类模型。

6.1.3向量空间模型向量空间模型(Vectorspacemodel)介绍向量空间模型(VSM)的评价

向量空间模型介绍1.文献空间（1）文献空间的概念文献集合中的任一文献都可以表示为这个多维空间中的一个向量,这个空间就称为“文献空间”在一个文献空间内，用向量D1来代表某一文献，则该向量在这个文献空间各个轴上的分量就是相应的表述该文献的各个项的权重文献与空间点（2）标引词空间

向量空间模型介绍T2T3T1D1={d11,d12,d13}D2={d21,d22,d23}D3={d31,d32,d33}图三维文献空间

向量空间模型介绍2.项权重（1）词频越重要的项分配越高的权值可以用词频来作为该项的权重（用tf表示）（2）文献频率假设存在一个文献集合，其中大部分的文献都包含了某一项，则说明该项对某一主题的专指度较差，可能就不太重要在设计项权重时，要考虑逆文献频率（用idf表示）

向量空间模型介绍2.项权重（3）权重的规范化处理为了抵消由篇幅带来的不同影响，经常要对项权重进行规范化处理在各种规范化方法中，余弦规范是一种常用、有效的方法：tf×idf权重/文献向量的欧氏长度

向量空间模型介绍3.文献向量与查询向量的匹配匹配函数利用向