2022高职 大数据技术与应用 任务书1(赛项赛题) .pdfVIP

2022高职大数据技术与应用任务书1(赛项赛题)--第1页

2022年全国职业院校技能大赛

高职组

“大数据技术与应用”

赛项赛卷（1卷）

任

务

书

参赛队编号：

2022高职大数据技术与应用任务书1(赛项赛题)--第1页

2022高职大数据技术与应用任务书1(赛项赛题)--第2页

背景描述

大数据时代，电商经营模式发生很大改变。在传统运营模式中，

缺乏数据积累，人们在做出一些决策行为过程中，更多是凭借个人经

验和直觉，发展路径比较自我封闭。而大数据时代，为人们提供一种

全新的思路，通过大量的数据分析得出的结果将更加现实和准确。商

家可以对客户的消费行为信息数据进行收集和整理，比如消费者购买

产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购

买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价

值观等。通过数据追踪，知道顾客从哪儿来，是看了某网站投放的广

告还是通过朋友推荐链接，是新访客还是老用户，喜欢浏览什么产品，

购物车有无商品，是否清空，还有每一笔交易记录，精准锁定一定年

龄、收入、对产品有兴趣的顾客，对顾客进行分组、标签化，通过不

同标签组合运用，获得不同目标群体，以此开展精准推送。

因数据驱动的零售新时代已经到来，没有大数据，我们无法为消

费者提供这些体验，为完成电商的大数据分析工作，你所在的小组将

应用大数据技术，以Scala作为整个项目的基础开发语言，基于大数

据平台综合利用Spark、Flink、Vue.js等技术，对数据进行处理、

分析及可视化呈现，你们作为该小组的技术人员，请按照下面任务完

成本次工作。

2022高职大数据技术与应用任务书1(赛项赛题)--第2页

2022高职大数据技术与应用任务书1(赛项赛题)--第3页

模块A：大数据平台搭建（容器环境）（15分）

环境说明：

服务端登录地址详见各模块服务端说明。

补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；

相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行

安装，用不到的可忽略；

所有模块中应用命令必须采用绝对路径；

从本地仓库中拉取镜像，并启动3个容器

进入Master节点的方式为

dockerexec–itmaster/bin/bash

进入Slave1节点的方式为

dockerexec–itslave1/bin/bash

进入Slave2节点的方式为

dockerexec–itslave2/bin/bash

同时将/opt目录下的所有安装包移动到3个容器节点中。

任务一：Hadoop完全分布式安装配置

本环节需要使用root用户完成相关配置，安装Hadoop需要配置前置环境。

命令中要求使用绝对路径，具体要求如下:

1、将Master节点JDK安装包解压并移动到/usr/java路径(若路径不存在，则

需新建)，将命令复制并粘贴至对应报告中;

2、修改/r