BRICS-FS-02-RU_机器学习与大数据_省级选拔赛样题TP.pdf

金砖国家职业技能大赛（金砖国家未来技能和技术挑战赛）

机器学习与大数据

BRICS-FS-02-RU

样题(省级/区域选拔赛)

2024年02月

1

目录

1参赛形式1

2竞赛内容1

3项目模块和时间要求2

3.1项目模块和时间要求2

3.2任务内容2

模块A：大数据（120min）2

模块B：数据分析（120min）5

模块C:机器学习（120min）12

4项目模块评分标准16

2024金砖国家职业技能大赛（金砖国家未来技能和技术挑战赛）

1参赛形式

本次赛项为个人赛。

2竞赛内容

本次竞赛由3个模块组成，要求参赛人员按顺序完成所有竞赛内容。竞赛时

会向参赛人员提供统一的赛题文件、竞赛数据集、基础操作说明文件，以及为保

障每个任务模块的独立性与公平性所需的技术基础条件。

竞赛内容包含基于机器学习与大数据的以下任务模块：

模块A：大数据

模块B：数据分析

模块C：机器学习

如果参赛选手不遵守职业健康安全环境要求，或使自己和其他选手面临危险，

他们可能会被取消比赛自核。

参赛选手完成模块后，将对结果进行评分。

BRICS-FS-36_数据科学与可视化_技术描述TD

1/16

2024金砖国家职业技能大赛（金砖国家未来技能和技术挑战赛）

3项目模块和时间要求

3.1项目模块和时间要求

机器学习与大数据赛项共3个模块，要求参赛者总共用时360min。具体项目

模块名称和时间要求参照表1.

表1项目模块和时间要求清单

序号模块名称竞赛内容完成时间

1模块A：大数据120min

2模块B：数据分析120min

3模块C：机器学习120min

3.2任务内容

模块A：大数据（120min）

模块描述:

Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形

和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可

能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的

批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打

碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载

(Reduce)到数据仓库里。

BRICS-FS-36_数据科学与可视化_技术描述TD

2/16

2024金砖国家职业技能大赛（金砖国家未来技能和技术挑战赛）

Sqoop是一个分布式的数据迁移工具，可以将一个关系型数据库（例如：

MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS

的数据导进到关系型数据库中。

hive是基于Hadoop工具，用来进行数据提取、转化、加载，这是一种可以

存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能

将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句

转变成MapReduce任务来执行。

Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存在一

些不同之处，这些有用的不同之处使Spark在某些工作负载方面表现得更加优

越，换句话说，Spark启用了内存分布数据集，除了能够提供交互式查询外，它

还可以优化迭代工作负载。

任务一：Hadoop基础操作