全国职业院校技能大赛双数年 中职组赛题 ZZ052-大数据应用与服务 赛项赛题汇总 第01--10套 .pdf

ZZ052-大数据应用与服务赛项试题01

一背景描述

随着中国数字化转型战略的推进，传统通信行业正面临

着数字化转型的挑战和机遇；用户对通信服务的需求已经发

生了根本性的变化，通信运营商正在通过技术创新和服务升

级来满足这些需求；数字化转型涉及到网络建设、数据管、

服务创新等方面，大数据技术成为关键驱动力之一。

为了应对这一转型，我们要求参赛者搭建通信行业大数

据分析平台，并利用Hive数仓技术和Spark计算引擎对通

信用户行为数据进行操作和分析；通过这样的平台，可以快

速处和挖掘海量数据，得出有价值的洞察和分析结果。

同时，在展示数据分析结果方面，我们要求参赛者结合

前端可视化框架ECharts和Python可视化库pyecharts,创

建交互式的数据可视化图表；这些图表能够直观地展示数据

分析结果，帮助管者更好地决策企业的发展战略，并对销

售、营销、客服和技术等部门的目标策略进行全面部署；通

过数据可视化，销售部门可以了解产品销售趋势和市场份额;

营销部门可以优化营销活动和广告投放策略；客服部门可以

提供更好的客户服务；技术部门可以进行网络优化和故障排

查。

1

二、模块一：平台搭建与运维

(一)任:大数据平台搭建

本模块需要使用root用户完成相关配置；所有组件均

在/root/software目录下。

1.子任务一：基础环境准备

master,slavel、slave2三台节点都需要安装JDK

(1)将JDK安装包解压到/root/software目录下；

(2)在/etc/profile”文件中配置JDK环境变量

JAVA-HOME和PATH的值，并让配置文件立即生效；

(3)查看JDK版本，检测JDK是否安装成功。

在master节点操作

(1)在master上生成SSH密钥对；

(2)将master上的公钥拷贝到slavel和slave2上；

在master上通过SSH连接slavel和slave2来验证。

2.子任务二：Hadoop完全分布式安装配置

master,slavel、slave2三台节点都需要安装Hadoop

(1)在主节点将Hadoop安装包解压到

/root/softwareH录下；

(2)依次配置hadoop一env.sh、core-site.xml、hdfs-

site.xmlmapred-site.xmlyarn-site,xml和workers配置

文件；Hadoop集群部署规划如下表；

表1Hadoop集群部署规划

2

服务器masterslavelslave2

HDFSNameNode

HDFSSecondaryNameNode

HDFSDataNodeDataNodeDataNode

YARNResourceManager

YARNNodeManagerNodeManagerNodeManager

历史日JobHistoryServer

志服务

器

(3)在master节点的Hadoop安装目录下依次创建

hadoopDatas/tempDatas、hadoopDatas/namenodeDatas、

hadoopDatas/datanodeDatashadoopDatas/dfs/nn/edits.

hadoopDatas/dfs/snn/name和

hadoopDatas/dfs/nn/snn/edits目录；

(4)在