基于Python的北京新天地网数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2PyCharm简介2

1.2.3Jupyternotebook简介3

1.2.4Tableau简介4

2项目需求分析4

2.1可行性需求分析4

2.2采集目标功能分析5

2.3关键技术分析5

2.3.1网络爬虫技术5

2.3.2文件存取技术6

2.3.3可视化技术7

3数据采集7

3.1采集页面分析7

3.2字段分析9

3.3编程实现10

4数据清洗与处理15

4.1数据清洗16

4.2数据储存17

5数据统计与分析18

5.1数据准备18

5.2数据展示21

5.2.1依据生产产商进行统计21

5.2.2依据市场数据对各个地区番茄平均价格统计数据分析22

5.2.3依照最高价最低价对市场进行散点图分析23

I

湖南商务职业技术学院毕业设计

5.3综述24

6小结24

参考资料25

II

湖南商务职业技术学院毕业设计

基于Python的北京新发地网数据采集与分析

1引言

随着时代的发展，社会的进步，人类开始步入21世纪信息爆炸的时代，大

数据无疑已经成为时代的主流，信息的偏差，很有可能导致一些恐慌，甚至经

济危机，因此进入信息全面化的时代无疑是每个国家都需要面临和克服的一项

重要问题，为此我们国家开始展开101计划，可见的国家对于互联网领域的重

视，目前冒出头来的抖音，快手，所带来的红利与影响，无异于像更多人展示

了，信息即是资本，如果我们不能很好的掌握相关技能，被一些间谍所利用，

利用信息潜移默化我们的下一代，我们的国家将会遭受灭顶之灾，互联网是一

把双刃剑，我们应当掌握，让不法分子不会有机可乘

python技术已经潜移默化的融入了我们的生活，我们的衣食住行，不必像

父辈们那么麻烦，只需要在手机上填写信息，进行相对于的操作即可，为了使

生活变得更加便利，作为新时代的新青年，需要将学好技术作为己任，只有这

样才能使我们的祖国立于强国之林，永远不朽！

1.1项目背景

任何一家关于食品贸易的大型的上市公司的为了盈利，产品每天的价格是

重重之重,因此关注每天产品的价格，从中获取想要的信息也是资产组成部分中

的重要的一环

对于一家农产品贸易的公司而言,农产品的种类和农产品每天的价格是关

系公司每日的营收和公司下一步的重要决策。那么,就需要获得每天农副产品的

目录单和产品价格的具体数据,所以我们需要登录北京新发地网