下一代互联网技术-2015试卷李楚煌..doc

深圳大学期末考试试卷 开/闭卷 综述报告 A/B卷 课程编号 1502320001 课程名称 下一代互联网技术 学分 2.5 命题人(签字) 崔来中 审题人(签字) 年 月 日 题号 一 二 三 四 五 六 七 八 九 十 基本题总分 附加题 得分 评卷人 《下一代互联网技术》课程综述报告要求： 课程综述报告由个人独立完成。 要求学生从教师的授课专题，包括： 下一代互联网过渡技术（翻译技术和隧道技术） 云计算（资源调度、存储、安全） 社交网络（推荐、影响力分析、传播模型） 物联网（无线传感器网络、节能技术） 有哪些信誉好的足球投注网站技术（爬虫技术、图片有哪些信誉好的足球投注网站、语义有哪些信誉好的足球投注网站） P2P（文件下载、流媒体分发） 大数据处理与分析技术（网络与机器学习） 多媒体网络（多媒体网络与SDN、流媒体与机器学习） 软件定义网络（SDN与安全、SDN与流量优化、SDN与网络管理） 选择一个专题中的具体技术问题（上述括号内为推荐的问题内容）作为综述报告主题，综述报告名称自拟，参照附件一“综述报告格式模板”与附件二“综述报告写作指导完成综述报告”；评分标准见附件三。 提交的课程综述报告要符合深圳大学相关的格式规范。 第17周提交课程综述报告电子版到blackboard系统，纸质版交到任课老师处。 附件一 综述报告格式模板 深圳大学考试答题纸 (以论文、报告等形式考核专用)二○一 ～二○一 学年度第 学期 课程编号 1502320001 课程名称 下一代互联网技术 主讲教师 崔来中 评分 学 号 2013150383 姓名 李楚煌 专业年级 大三网络工程01 教师评语： 题目： 网页有哪些信誉好的足球投注网站中爬虫技术的若干研究 前言 在21世纪互联网高速发展的背景下，有哪些信誉好的足球投注网站引擎在人们生活中有着举足轻重的作用，而网络爬虫是有哪些信誉好的足球投注网站引擎中的重要的信息采集器，是有哪些信誉好的足球投注网站引擎技术的核心部分。 本文是对爬虫技术在现今网络环境中出现不同的问题、漏洞提出一些针对性的探究方法，并对各种方法进行实验分析，主要研究分析工作如下: 网络爬虫中的核心技术部分，即网络爬虫系统的多线程设计与实现，详细介绍网络爬虫的概念及信息分类涉及到的算法，技术要点，并探讨实现对漏洞平台当中的爬虫技术的聚焦。 网络爬虫的核心在于，以端口接通为设计基础，依据HTTP协议，使用SOCKET套接字相关函数向服务器端发送HTTP请求，得到目标URL对应的网页内容，再从该网页提取出未爬取过的URL，将该URL重新作为源URL进行新的一轮向下爬取有哪些信誉好的足球投注网站工作，按照各种优先算法向下爬行，从而完成网络爬虫系统的爬行工作。 在互联网中有着很多协议，它们彼此联系着，支持着许多网络程序的运行。网络爬虫系统是基于SOCKET协议的，而SOCKET协议的基础建立在TCP/IP协议之上。由此，网络爬虫是基于最原始的协议，依靠算法技术，组织分布式系统，非常有潜力进行强有力的数据探索与挖掘。既然网络爬虫的优势潜能如此巨大，接下来我会详细讨论近期我对这个技术的若干研究。 阅读文献概述 基于此次希望探讨的研究方向：网络爬虫，在中文文献方面，主要有以下阅读：多线程进行网络爬虫的过程优化,基于网络爬虫的Web信息采集技术，爬虫对漏洞管理平台核心帮助。在英文文献方面主要有：《A Cloud-based Web Crawler Architecture》 ,《A Spatial Web Crawler for Discovering》,《Design of improved focused web crawler》。这几篇文献探究的层次在于如何对信息进行有效地采集、采集的量如何够快够大、以漏洞管理平台为切口，看爬虫技术有哪方面的发展潜力。 多线程爬虫又可以理解为分布式爬虫，主要阅读的部分有分布式网络爬虫结构设计，其中又细分为爬行节点的结构设计，控制节点的结构设计。分布式网络爬虫的关键技术在于，种子集合的优化选取，分布函数的选择。有这些分布式策略来带领多线程下载。而对网络信息的阅读，在于有效采集，需要对信息检索引擎有所划分：全文检索、目录索引型检索、元检索。再深入到网络爬虫的有哪些信誉好的足球投注网站策略，有深度优先有哪些信誉好的足球投注网站策略、宽度优先有哪些信誉好的足球投注网站策略、聚焦有哪些信誉好的足球投注网站策略。针对信息的实质内容，爬虫有其特色性质：布告栏的数据分类及并联式关联、视频的可预览及真实寻址、论坛的自动动态更新实现。对漏洞平台的爬虫聚焦技术的阅读，首先了解的是在漏洞平台这个领域，爬虫子模块的划分：爬虫接口模块、配置文件解析模块、网页爬取模块、网页解析模块、URL过滤去重模块、漏洞信息保存模块。在漏洞平台管理这个框架下，对爬虫效率如何改进、URL相关内容如何改