信息检索课程介绍.ppt

检索的改进*词(Term)处理Stemming（词干提取）技术，词法分析、形态还原，停用词表的构建，语义词典的构建，分词、词性标注和词义消歧等索引技术倒排文档(InvertedList)，Signature文件，PAT树等提问(Query)处理提问理解，提问的语义扩展（包括基于局部聚类的提问扩展，基于局部上下文分析的提问扩展，基于相似语义词典的提问扩展，基于统计词典的语义扩展）相关反馈（包括Term权重的重新计算，相关反馈策略的评价等）文本分类和聚类*特征词抽取01TFIDF02信息增益方法03文本表示04文本相似度计算05文本分类算法06文本聚类算法07文本过滤*01过滤系统中的Profile的表示与管理02各种匹配算法03BruteForce算法04Knuth-Morris-Pratt算法05Boyer-Moore算法06Karp-Rabin07过滤系统在信息安全中的应用Web信息检索*Web检索的历史与现状WebInformationDiscovery有哪些信誉好的足球投注网站技术（Crawling）排序算法123654WebNoisesDetectionHitsPageRank基于内容的图像及音频检索**2图像相似度计算3相关反馈1图像的特征表示4基于音频的信息检索计算问答系统及自动文摘**问答系统01问题的理解与分类02转述(Paraphrasing)03答案抽取04问答式信息检索的应用05自动文摘06自动摘录07基于理解的自动文摘08基于信息抽取的自动文摘09基于篇章结构的自动文摘10课程目的*发现了什么问题？Web信息的数量，内容丰富程度（庞杂）↑人们访问信息的效率↓课程目的介绍面对web信息过载问题挑战的各种研究和尝试，具体为大规模Web信息搜集、分析与处理方法与技术认识这个激动人心领域的导论研究对象——Web*1980年TimBerners-Lee负责的Enquire（EnquireWithinUponEverything的简称）项目。1990年11月，第一个Web服务器开始运行，TimBerners-Lee在自己编写的图形化Web浏览器“WorldWideWeb”上看到了最早的Web页面。1991年，CERN（EuropeanParticlePhysicsLaboratory）正式发布了Web技术标准。目前，与Web相关的各种技术标准都由著名的W3C组织（WorldWideWebConsortium）管理和维护。Web的支撑技术*TimBerners-Lee说：Web是一个抽象的（假想的）信息空间。也就是说，作为Internet上的一种应用架构，Web的首要任务就是向人们提供信息和信息服务。04这三个特点无一不与信息的分发、获取和利用有关。05用超文本技术（HTML）实现信息与信息的连接01用新的应用层协议（HTTP）实现分布式的信息共享。03用统一资源定位技术（URI）实现全球信息的精确定位02Web技术的发展*客户端技术GIF第一次为HTML页面引入了动感元素JavaApplets和JavaScript的支持CSS（CascadingStyleSheets）和DHTML（DynamicHTML）技术插件、ActiveX控件技术服务端技术CGI允许服务端的应用程序根据客户端的请求，动态生成HTML页面，动态信息交换Perl，PHP、ASP、JSP企业级开发平台--J2EE和.NETWeb增长*LoadonthefirstWebserver()1000timeswhatithasbeen3yearsearlierWeb增长网站数目↑↑↑1993-1996,from130to600.000sitesNetcraftsaidthatithascounted85,541,228websitesatthebeginningof2006/06,Thenumberrepresentsagainof3.96millionsitesoverthepreviousmonth用户数目↑↑↑Thenwhathappened?……浏览器大战*1993，MarkAndreessen编写Mosaic“ThegreatthingabouttheInternet--thethingthatca