大数据核心技术与应用.docVIP

附件25：

高职电子信息大类大数据技术与应用赛项

技能竞赛规程、评分原则及选手须知

一、竞赛内容

赛项名称：大数据技术与应用

赛项内容：以大数据技术与应用为核心内容，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据解决以及内存计算技术应用能力。详细涉及：

1.掌握Hadoop平台环境布置与基本配备，理解基于大数据计算平台常用应用；

2．综合运用numpy、pandas、matplotlib、scikit模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python等开发语言工具和技术，匹配和连接数据源，实现大数据采集，提取、清洗、转换、分析、挖掘操作，产生分析成果，并且实现可视化呈现。

3．根据项目应用需求和分析成果，完毕数据分析报告编写。

二、竞赛方式

本赛项为团队赛，每支参赛队由3名参赛选手构成。

三、竞赛时量

竞赛时间4小时，竞赛持续进行。

四、名次拟定办法

名次拟定办法原则上按照竞赛总成绩从高分到低分排序确立选手名次。总成绩相似时，完毕时间较短者名次列前；成绩和完毕时间均相似时，操作过程较规范者名次列前。

五、评分原则与评分细则

1．评分原则

本赛项总分为100分，采用分项计分制（表1）。

表1考核环节及评分原则

考核环节

考核知识点和技能点

分值

Hadoop平台安装布置

Hadoop平台安装布置和基本配备。

15

HDFS惯用操作命令（查询文献类别、上传、删除文献、查询HDFS基本记录信息）。

Hadoop集群性能调优。

数据抓取

规则文献数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive数据同步）。

30

掌握Hive数据仓库导入、导出以及同Hadoop数据文献转换，实现Hive数据管理惯用命令。

可以通过Python编程，使用streaming和MapReduce机制实现数据抓取。

数据清洗、整顿、计算和表达

基于MapReduceHDFS文献系统文献数据数据查询、整顿和计算。

20

结合Hadoop大数据平台有关技术实现对数据分析和呈现。

应用Python编程工具，实现给定数据源采集，提取、清洗、转换、分析、挖掘操作，产生分析成果，并且实现可视化呈现。

综合分析

综合应用数据抓取、清洗、整顿、计算和表达等有关知识及技术，使用Python编程工具，实现对提供数据源分析、呈现，依照呈现成果得出结论，并对结论进行分析，形成分析报告。

30

团队分工明确合理、操作规范、文明竞赛

5

共计

100

2．评分细则

竞赛成绩评估实行“裁判长合权负责制”，负责组织评分裁判进行成绩评估。评分裁判负责对参赛队伍（选手）比赛作品、比赛体现按赛项评分原则进行评估。成绩评估依照竞赛考核目的、内容对参赛队或选手在竞赛过程中体现和最后成果做出评价。

本赛项评分办法为现场评分和成果评分，现场评分为5分，由现场裁判依照参赛队操作规范以及综合体现状况进行评分；成果评分为95分，根据赛项评价原则，对参赛选手提交竞赛成果进行评分。

六、赛点提供设施设备仪器清单

1．竞赛设备

涉及硬件环境（表2）和软件环境（表3）。

表2竞赛硬件环境

设备类别

数量

设备用途

基本配备

服务器

1台。

内嵌大数据实训管理系统，提供大数据竞赛。

PC服务器

客户端

每支参赛队伍3台。

竞赛选手比赛使用。

性能相称于2.0GHZ解决器，4G

依照参赛团队数量，配备10%备份机器。

表3竞赛软件环境

设备类别

软件类别

软件名称

服务端

竞赛系统运营操作系统

Centos7.0

客户端

桌面操作系统

Windows7

虚拟环境

Virtualbox5.1

虚拟操作系统

Ubuntu14.04LTS

大数据平台软件

Hadoop2.7.1

开发语言

Python2.7.12

数据分析工具

Pandas0.9.12

Python集成开发环境

pycharm-community-.3.2

浏览器

Chrome/firefox

文档编辑器

Office及以上版本

2．竞赛技术平台

比赛技术平台：《北京四合天地大数据实训管理系统》。

学生可以“随时、随处”在一套系统中进行各种类型大数据有关内容训练及比赛，并且可以在线进行操作系统级真机模仿训练测试、充分体验和掌握大数据有关技能。

教师（裁判）可以以便组织和安排大数据实训（竞赛），并且可以实时理解学生训练及竞赛状态。训练、竞赛完毕后，教师（裁判）可以查看每位学生测评报告，并且理解各个学生对大数据有关知识点和操作技能掌握状况。

3．办公物品

参赛选手U盘、签字笔；裁判用时钟、计算器、铅笔、钢笔、橡皮、订书机、打印机等其她物品。

七、选手须知

（一）选手自带工具清单

选手不容许携带任何工具。

（二）重要技术规程及规定