美食天下美食网站数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2Pycharm简介3

1.2.3Jypyternotebook简介3

1.2.4Anaconda简介4

1.2.5Python第三方库简介5

2需求分析6

2.1可行性需求分析6

2.2采集目标功能分析6

2.3关键技术分析6

2.3.1网络爬虫技术6

2.3.2文件存取技术7

2.3.3可视化技术8

3数据采集9

3.1采集页面分析9

3.2字段分析10

3.3编程实现11

4数据清洗与处理14

4.1数据清洗15

4.2数据存储16

4.3编程实现16

5数据统计与分析17

5.1数据准备17

I

湖南商务职业技术学院毕业设计

5.2数据展示17

5.2.1美食天下发布菜品数量top1017

5.2.2美食天下口味情况进行统计分析18

5.2.3主要工艺词云图19

5.2.4根据菜谱难易程度分析19

5.3综述20

6小结21

参考资料22

II

湖南商务职业技术学院毕业设计

美食天下网站数据采集与分析

1引言

时光飞逝，日月如梭,我们的祖国已经从高速发展阶段转为了高质量发展阶

段，在这一阶段，无数国人前仆后继的投入了为祖国的繁荣昌盛的事业中。近

年来，计算机科学与技术领域的飞速发展，给社会带来了巨大的变革和创新。

计算机专业的毕业设计作为学生在校期间的重要学习任务之一，旨在培养学生

的创新能力、解决问题的能力以及团队协作精神，为学生未来职业发展奠定坚

实基础。

此次目的在于解决社交网络中信息过载和信息真实性难题。随着社交媒体

的普及，人们在日常生活中越来越多地依赖于社交网络来获取信息和与他人交

流。然而，信息过载和信息真实性问题已经成为社交网络面临的一个主要挑战，

大量的信息冗余和虚假信息给用户带来了困扰，不仅耗费了用户的时间和精力，

还可能导致误解和冲突。但同时，这其中又蕴含着许多重要信息，也蕴含着许

多机会。利用深度学习算法和大数据分析技术，从海量的信息中自动识别和过

滤掉冗余和无用的信息，将用户真正关心的信息过滤出来，提高信息获取的效

率。促进社交网络的健康发展。

1.1项目背景

随着互联网的快速发展，美食文化在全球得到了广泛的传播。越来越多的

人开始关注自己所喜爱的美食，更有甚者将美食作为一种生活的方式。在此背

景下，美食网站顺应时代的变化孕育而生，成为人们了解，分享和探索美食的

又一重要平台。本篇毕业设计将对美食网站进行深入分析，探讨美食网站的发

展趋势与美食文化的影响。

因此，本毕业设计旨在通过对美食天下网站数据的采集与分析，为用户提

供更全面、深入的菜谱分析结果。通过对菜谱数据的收集和整理，可以得到不

同耗时、不同工艺、不同口味的美食，进而可以分析哪种口味更多人喜欢等。

本毕业设计的主要任务包括：

美食天下网站数据的爬取：通过抓取美食天下网站页面的HTML源码，提取

其中的数据，并将其存储到数据库中。

菜谱数据的整理与分析：对采集到的菜谱数据进行整理、清洗和计算，生

1

湖南商务职业技术学