网站建模和索引诊断.ppt

Page * Page * Page * Page * ? 2009 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION. 网站建模和索引诊断 MS STCA 实习报告 亚洲研发集团（ARD） 亚洲研究院（MSRA） 亚洲工程中心（ATC）(2003) 亚洲有哪些信誉好的足球投注网站技术中心（STCA）（2005） 商务软件部（MOD）（SharePoint，Lync） STCA的部门分布 Multimedia Asia Experience Ads Relevance Infrastructure News …… 各部门技术点 Multimedia 基于内容的图片分析，视频有哪些信誉好的足球投注网站 Asia Experience 中文索引规模，中文分词 Ads 目标针对性的广告投放（尿布和啤酒） 各部门技术点 Relevance 有哪些信誉好的足球投注网站结果相关性 Infrastructure 有哪些信誉好的足球投注网站相关架构，cosmos，scope News 索引规模、文本内容分类 Bing 中文名：必应 起源 Joke Bing 中文名：必应 起源 Joke Because It’s Not Google Site Modeling 新浪新闻一天有多少新的文章、这些文章一天有多少浏览、财经和汽车这两个目录哪个更加受欢迎、网站访问用户的国家分布、每个目录的浏览量分布、URL的命名规则 这些指标都是基本上稳定的，而且可以提供有哪些信誉好的足球投注网站结果排序的信号 如何得到这些指标？IE log。 综合每个URL对应的数据，得到各个级别上的信息 Index Diagnose IR衡量指标 Precision of index Recall of index Precision of index 时效性 新闻浏览量特征 news site other site Index Diagnose Recall of index 爲甚麽会存在没有索引到的数据 source crawler行为 新闻索引的特殊性 Crawler行为 如何判断一个网页是否有新闻倾向 内容 格式 URL 判定的时间是耗时的，与其在大的集合中进行筛选，不如先缩小集合的规模 如何增加source 怎麽精确找到没索引到的数据？ index：set1 IE log：set2 set = set2 – set1 杂质 去除杂质 可积累的过程（pattern study） feature: 时间信息 屏蔽词 关键词 …… URL Pattern Date-parser : 2011/09/13 /2008/12/19/broadway-transfer-for-rock-of-ages/ Stop-word : video, gallery… //galleries/2011/moneymag/1108/gallery.best_places_affordable_homes.moneymag/7.html Key-word : article, story… /news/story/_/id/944042/tottenham-striker-robbie-keane-moves-to-la-galaxy-on