Spark综合实训成果书(1).docxVIP

Spark内存数据分析 综合实训 成 果 书 课题名称： 姓 名： 学 号： 学 院： 普天大数据学院 专 业： 大数据技术与应用 班 级： 指导老师： 文健祥 2021年08月03日 一、项目任务及要求： 项目任务： 要 求： 指导教师签名： 年 月 日 二、指导教师评语： 指导教师签名： 年 月 日 三、成绩 指导教师签名： 年 月 日 目 录 TOC \o 1-2 \h \u 31324 一、绪 言（主要描述选题背景） 3 10923 二、项目总体框图（项目的总体设计思路） 4 24183 三、项目实现（主要书写项目实现过程） 4 27740 3.1 项目环境准备 4 8318 3.2 数据预处理 4 7577 四、 成果展示（主要展示成果及成果特点） 5 246 五、结束语（主要描述收获和体会，仅供参考） 6 4417 六、参考文献（参考文献标准格式） 6 、 一、绪 言（主要描述选题背景） 随着中国互联网普及率的上升，网络购物作为一种方便快捷的零售渠道迎来了爆发式增长，而用户的购买行为的数据则成为了分析用户习惯、特征的最可靠的数据来源，电商网站购物数据通过大数据分析，可以得到购买人群热销商品排名、购买人群区域分布、购买人群年龄分布等。 二、项目总体框图（项目的总体设计思路） 三、项目实现（主要书写项目实现过程） 3.1 项目环境准备 1、安装Linux系统 2、安装Hadoop 3、安装MySQL 4、安装Spark 5、安装Hive 6、安装Sqoop 7、安装Ideal 3.2 数据预处理 1、对文本文件形式的原始数据集进行预处理，把不符合分析的数据就是无效数据剔除，或者是数据本身有问题并影响分析结果的数据剔除。 成果展示（主要展示成果及成果特点） 通过Echarts的中国地图，可以分析出，每个省的成交量，可以直观的看出那些省的网上购物是比较多的。 通过Echarts的柱图，我们可以很直观的看到销售最好的商品分类有那些。对于商家有一定的指导作用。 五、结束语（主要描述收获和体会，仅供参考） 通过这次Spark综合实训，使我得到了一次用专业知识和专业技能去分析问题、解决问题全面系统的锻炼。使我在Spark的基本原理、环境搭建、数据分析过程，以及大数据处理整体结构思路等方面都能向前迈了一大步，为日后成为合格的应用型人才打下良好的基础。 六、参考文献（参考文献标准格式） [1] 肖芳，张良均主编.Spark大数据技术与应用[M].北京：人民邮电出版社，2018. [2] 林子雨主编.大数据实训案例——电信用户行为分析（Scala版）[M].北京：人民邮电出版社，2019. [3] 米洪，张鸰主编.Hadoop平台搭建与应用[M].北京：人民邮电出版社，2020.