网络空间安全概论 实验7网络爬虫 贝壳租房爬虫及可视化.docx

PAGE2

中国矿业大学计算机学院

2018级本科生课程报告

课程名称信息内容安全

报告题目贝壳租房爬虫及可视化

报告时间2021.7.6

姓名徐子涵

学号

任课教师曹天杰

2020-2021(二)《信息内容安全》课程报告评分表

序号

毕业要求

课程教学目标

考查方式与考查点

占比

得分

1

2.3

目标1:掌握信息内容安全的基本概念、分类、原理和相关技术，能够根据课程基本知识对信息内容安全领域出现的问题进行归类、分析、并有初步分析和解决问题的能力。

通过课堂讲授和课堂研讨掌握信息内容安全概念和理论知识。

40%

3.2

目标2：掌握信息内容安全处理相关的理论、技术以及健全的评价体系，能够根据具体问题分析算法、设计算法、实现算法并能综合评价算法。

2

4.3

目标3：掌握信息内容安全的基础知识，针对具体问题和要求选择正确的技术路线，通过在实验环境中进行仿真实验并能根据算法特点进行攻击测试和综合性能评价，得到具有参考价值的结论。

课程报告；实现有关信息内容安全的一个软件系统。分析和对比各项技术，选择相应的技术进行算法设计并在实验环境中进行仿真实验和性能评价，得到有效结论。

60%

总分

100%

评阅人：

2021年7月10日

报告摘要

近年来，随着城镇化进程的加快，房价节节攀升，购房压力相应增大，租房成为满足居民居住需要的主要途径。互联网的发展给房屋租赁市场提供了新的交易途径，同时也带来了新的挑战。如何在较短的时间内，有效地获取租房用户所需的精准信息变得越来越重要。本文设计贝壳租房信息的爬取工具，实现对网站下租房关键信息的爬取，过滤并存储租房房源信息，建立租房房源信息数据源，用Pyecharts实现数据的可视化。

关键词：租房数据;网络爬虫;Pyecharts;

报告正文

1前言

随着城镇化进程的高速发展，国内房价高涨。为了解决住房问题，越来越多的人选择租房方式满足他们住房需求，租房人群年龄结构呈年轻化趋势，以80后、90后为代表的租房人群，传统的租房体验已经无法满足他们需求。随着互联网的发展，他们向网络平台迁移的意愿更强，给房屋租赁市场提供了新的交易途径。基于网络平台思维可以打破房源信息不对称，用户线上选房、线下看房，线上交易，再到租后和退租再租，整个完整流程可以很好地服务消费者，从而大幅度改善用户体验。

国内的房屋租赁发布平台，为租房用户提供了便捷。各房屋租赁信息网站通过关键字有哪些信誉好的足球投注网站配合条件筛选的方式为租房用户提供房源有哪些信誉好的足球投注网站功能。面对当前房源信息资源的迅猛增长，传统依赖于人工检索信息的方式效率十分低下，已经不能满足年轻消费者的精准匹配的需求。因此，本文以安居客租房网为例，设计一个基于Python的租房数据爬取工具，用户提供位置、租金或房型等精准需求，从租房信息网站垂直有哪些信誉好的足球投注网站相关的数据并按规则的结构化存储，并对其进行可视化分析。

2python爬虫设计

2.1爬取对象的确定

贝壳网是国内主要房产租售服务平台之一，本文实现的爬虫将以“贝壳租房”为爬取目标，对指定目标房屋租房信息网站进行自动爬取，过滤并抽取所需租房信息，最终将爬取到的数据以xlsx文件存储在本地项目根目录下，并将可视化分析以网页形式展示。

2.2功能设计

（1）导入相关包：

（2）请求头设置

（3）设置要获取的目标信息

（4）数据爬虫

反爬虫设计：

间隔时间2-5秒：

设置多个请求头：

设计爬虫

2.3数据处理

（1）计算各区域房源数量：

（2）计算各区域房源平均价

（3）计算户型数量

（4）统计不同面积区间占比

2.4数据存储

为了方便用户简洁、直观的查看爬取数据，本文爬取的数据以存储为excel格式。C方便用户使用Excel等通用软件直观的查看和分析数据。本文在贝壳租房平台上，爬取徐州地区相关区域的租房房源信息，爬取结果中的部分数据如下图所示：

3可视化分析

3.1Pyecharts模块

可视化或称视觉化，其基本含义是将科学计算中产生的大量非直观的、抽象的或者不可见的数据，借助计算机图形学和图像处理等技术，用几何图形和色彩、纹理、透明度、对比度及动画技术等手段，以图形图像信息的形式，直观、形象地表达出来，并进行交互处理。

1987年2月美国国家科学基金会的一个研究报告提出科学计算可视化(visualizationinscientificcomputing)问题。并将可视化定义为利用计算机图形学和图像处理技术，将数据转换为直观