web数据挖掘Web爬取.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * Preferential crawling algorithms: Examples Breadth-First Exhaustively visit all links in order encountered Best-N-First Priority queue sorted by similarity, explore top N at a time Variants: DOM context, hub scores PageRank Priority queue sorted by keywords, PageRank SharkSearch Priority queue sorted by combination of similarity, anchor text, similarity of parent, etc. (powerful cousin of FishSearch) InfoSpiders Adaptive distributed algorithm using an evolving population of learning agents Preferential crawlers: Examples For I(p) = PageRank (estimated based on pages crawled so far), we can find high-PR pages faster than a breadth-first crawler (Cho, Garcia-Molina Page 1998) Recall Crawl size 主题Web信息采集 选择性的搜寻那些与预先定义好的主题集相关页面进行采集 给定特定的种子URL 目前是研究热点，垂直有哪些信誉好的足球投注网站 优点 采集页面更加有针对性，采集效率更高。 缺点 采集速度较慢，判别相关性带来较大的开销。 典型代表：Focused Crwaler -- IITIBM 采集系统首先保存一个经典的主题分类 每个主题分类都保存若干个内容样本 基于Agent的信息采集 智能Agent系统是指一种处于一定环境下包装的计算机系统 它除了具有自治性、社会能力、反应能力和自发行为 还具有一般人类所有的知识、信念、意图和承诺等心智状态,这使得智能Agent系统具有人类的社会智能 将Agent技术用于采集，像人一样感知用户的兴趣变化，使得采集有更强的灵活性、适应性和自主性 典型代表：InfoSpiders ，Letizia * * * * * * * * * * * * * * * * * * * * * * * * * * * * 预取client 为了减少等待查找涉及新主机的地址的时间：尽早将主机名投给DNS系统 步骤 分析刚得到的网页 从HREF属性中提取主机名（不是完整的URL） 向缓存服务器提交DNS解析请求 结果放到DNS cache中（后面可能有用，也可能用不上） 通常用UDP实现 非连接，基于包的通信协议，不保证包的投递 用不着等待解析的完成 网页抓取 问题: 网络连接及传输的开销 局域网的延迟在1-10ms，带宽为10-1000Mbps,Internet的延迟在100-500ms，带宽为0.010-2 Mbps 在一个网络往返时间RTT为200ms的广域网中，服务器处理时间SPT为100ms，那么TCP上的事务时间就大约500ms（2 RTT+SPT） 网页的发送是分成一系列帧进行的，则发送1个网页的时间量级在(13KB/1500B) * 500ms ≈4s 解决: 多个并发的抓取 多个并发的抓取 管理多个并发的连接 单个下载可能需要几秒钟 同时对不同的HTTP服务器建立许多socket 连接 过多的硬件并行好处不大 爬取的性能瓶颈主要在网络和硬盘 两种基本方法 用多线程/多进程 用带事件处理的非阻塞sockets Concurrency A crawler incurs several delays: Resolving the host name in the URL to an IP address using DNS Connecting a socket to the server and sending the request Receiving the requested page in response Solution: Overlap the above delays by fetching many pages concurrently Architecture of a concurrent crawl