本科毕业设计__高校新闻网系统的设计与实现.doc

学校代号 10532 学 号 分 类 号 TP311 密 级 公开 工程硕士学位论文 高校新闻网系统的设计与实现 学位申请人姓名 培 养 单 位 软件学院 导师姓名及职称 学 科 专 业 软件工程 研 究 方 向 高等教育管理信息化 论文提交日期  密 级：公开 湖南大学工程硕士学位论文 高校新闻网系统的设计与实现 学位申请人姓名： 导师姓名及职称： 培 养 单 位： 软件学院 专 业 名 称： 软件工程 论文提交日期： 2015年10月10日 论文答辩日期： 2015年12月12日 答辩委员会主席： Design and Implementation of University News Net System by LI Xinyu B.E.(Jishou University)2006 A thesis submitted in partial satisfaction of the requirements for the degree of Master of science in Software Engineering in the Graduate school of Hunan University Supervisor October,2015 湖　南　大　学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。 除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的 成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有 关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖南大学可以 将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复 制手段保存和汇编本学位论文。 本学位论文属于 １．必威体育官网网址□ ，在 年解密后适用本授权书。 2．不必威体育官网网址□。 (请在以上相应方框内打”√”) 作者签名： 日期： 年 月 日 导师签名： 日期： 年 月 日 摘 要 随着网络在世界范围的飞速发展，互联网作为最具潜力与活力的媒体已经被公认是继报纸，广播，电视之后的“第四媒体”，成为反映社会新闻热点的重要载体。为了及时了解高校内部重大事件和网络新闻热点，相关机构引入了高校新闻网系统。在传统高校新闻网系统的基础上对高校新闻网系统进行改进，使得系统能通过爬虫技术进行对“感兴趣”的新闻进行爬取，以此来实现新闻定制功能。首先利用爬虫技术将新闻数据获取到本地数据库中，然后将新闻信息以及新闻分析的结果将在前台网页中进行可视化输出，前台主要由ASP实现，后台主要通过java实现。本文主要进行了以下几个方面的工作： 用JAVA语言实现了一个基于广度优先算法的多线程爬虫程序。阐述了高校新闻网爬取实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。爬虫程序能够按照广度优先的爬行策略对新闻数据（包括图片信息）进行全面的定向抓取以及周期性的增量抓取，实现新闻定制功能； 采用HTMLParser对获取到的新闻信息，将新闻的编号、标题、内容、发布方、发布时间等元数据以及新闻图片等元数