2018年浙江省高职高专院校技能大赛“大数据技术与应用”竞赛赛项规程.docxVIP

第 PAGE 8 页 2018年浙江省高职高专院校技能大赛“大数据技术与应用”竞赛赛项规程 一、赛项名称 赛项名称：大数据技术与应用 赛项组别：高职学生组 二、竞赛目的 本赛项的设置，是为适应大数据开发应用产业对高素质技术技能型人才的职业需求，围绕大数据处理相关算法应用与软件工具运用。赛项选取典型的大数据应用业务分析应用场景，重点检验参赛选手掌握大数据业务分析方法和数据分析能力、运用大数据平台及相关工具软件解决具体业务问题的能力，激发学生对大数据知识和技术的学习兴趣，提升学生职业素养和职业技能，努力为中国大数据应用产业发展储备及输送新鲜血液。 通过举办本赛项，可以搭建校企合作的平台，提升高职电子信息类及相关专业毕业生能力素质，满足企业用人需求，促进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的必威体育精装版需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。 三、竞赛时间与内容 （一）竞赛时间 本次竞赛时间安排为4小时，比赛日期为4月27日至28日两天，具体安排如下表所示： 比赛日期 赛程时间 赛程任务安排 4月27日 （周五） 13：00~14：40 选手报到 15：00~15：40 参赛选手熟悉竞赛场地 15：00~16：00 领队会议 4月28日 （周六） 7：40~8：00 参赛选手报到，完成第一次抽签加密 8：00~8：20 参赛选手完成第二次抽签加密 8：20~8：30 参赛队进入竞赛工位并领取竞赛任务书 8：30~12：30 参赛队正式比赛 12：30~18：00 裁判评分 （二）竞赛内容 赛项以大数据技术与应用为核心内容和工作基础，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据处理以及内存计算技术的应用能力。具体包括： 1. 掌握Hadoop平台环境部署与基本配置，了解基于大数据计算平台的常见应用； 2.综合利用numpy、pandas、matplotlib、scikit 模块和MapReduce技术、分布式存储系统HDFS、分布式计算框架MapReduce/Yarn、数据仓库Hive、Python等开发语言工具和技术，匹配和连接数据源，实现大数据的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。 3.依据项目应用需求和分析结果，完成数据分析报告的编写。 4.竞赛时间4小时，竞赛连续进行。 竞赛内容构成如下： 考核环节 考核知识点和技能点 Hadoop平台 安装部署 Hadoop平台安装部署和基本配置。 HDFS常用操作命令（查询文件类别、上传、删除文件、查询HDFS基本统计信息）。 Hadoop平台常见基础组件应用。 Hadoop集群的性能调优。 数据抓取 规则文件数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive数据同步）。 掌握Hive数据仓库导入、导出以及同Hadoop数据文件的转换，掌握Hive数据管理常用命令。 能够通过Python编程，使用streaming和MapReduce机制实现数据的抓取。 数据清洗、整理、计算和表达 基于MapReduce的HDFS文件系统的文件数据的数据查询、整理和计算。 应用Python编程工具，实现给定数据源的采集，提取、清洗、转换、分析、挖掘操作，产生分析结果，实现给定数据源的预处理。 结合Hadoop大数据平台相关技术实现对数据的分析和展现。 综合分析 综合应用数据抓取、清洗、整理、计算和表达等相关知识及技术，使用Python编程工具，实现对提供的数据源分析、展现，根据展现结果得出结论，并对结论进行分析，形成分析报告。 竞赛各阶段分值权重和时间分布如下： 序号 竞赛时间 分值权重 Hadoop平台安装部署 240分钟 权重20% 数据抓取 权重25% 数据清洗、整理、计算和表达 权重20% 综合分析 权重30% 团队分工明确合理、操作规范、文明竞赛 权重5% 四、竞赛方式 大数据技术与应用赛项为团体赛。每支参赛队由3名参赛选手组成，须为同校在籍学生，不允许跨校组队，其中队长1名。 五、竞赛规则 （一）竞赛工位通过抽签决定。 （二）竞赛所需的硬件设备、系统软件和辅助工具由赛项组委会统一准备，参赛选手不得自带硬件设备、软件、移动存储、辅助工具、移动通信等进入竞赛现场。 （三）严禁参赛选手、赛项裁判、工作人员私自携带通讯、摄录设备进入比赛场地。 （四）参赛队自行决定选手分工、工作程序和时间安排。 （五）所有参赛选手都必须携带参赛证件进行检录。参赛证件包含身份证、学生证、参赛证。 （六）参赛队在赛前10分钟进入竞赛工位并领取竞赛任务，竞赛正式开始后方可展开相关工作。参赛选手迟到超过竞赛时间一小时