大数据运维工程师的工作职责(真题26篇) .pdfVIP

大数据运维工程师的工作职责（通用26篇）

大数据运维工程师的工作职责篇1

职责：

1、负责Hadoop、HBase、Hive、Spark等大数据平台规划、

部署、监控、系统优化等，确保高可用;

2、负责公司大数据平台的运维管理工作，集群容量规划、扩容及

性能优化;

3、处理公司大数据平台各类异常和故障，确保系统平台的稳定运

行;

4、设计实现大规模分布式集群的运维、监控和管理平台;

5、深入研究大数据业务相关运维技术，持续优化集群服务架构，

探索新的大数据运维技及发展方向;

6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。

岗位要求：

1、掌握Linux操作系统的配置，管理及优化，能够独立排查及解

决操作系统层的各类问题;

2、熟练掌握Python,shell中的至少一门语言，有Python运维

工具开发经验优先;

3、熟悉Hadoop生态及高性能缓存相关的各种工具并有实战经

验，包括但不限于Hadoop、HBase、Hive、Spark、impala、

zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、

Storm等;

4、具有集群运维经验，以及大负载下的容量评估、问题定位、架

构优化等能力优先;有分布式系统(计算/存储)开发经验优先;

5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件

及使用;

6、精通ELK系统，有过大规模ELK配置管理、调优经验，有过

ElasticSearch有哪些信誉好的足球投注网站和分析引擎开发经验者优先;

大数据运维工程师的工作职责篇2

职责：

1、负责大数据平台架构的规划、设计、搭建;

2、负责大数据平台的运维保障工作;

3、负责运维相关数据分析，以及报表产出;

4、为线上服务高效稳定运行负责，支撑业务和数据量的快速扩张;

5、深入理解大数据平台架构，发现并解决重大故障及性能瓶颈;

6、研究跟进大数据架构领域新技术并分享。

工作要求：

1、熟悉大数据产品生态圈，包括但不限于HDFS、YARN、Hive、

HBase、Spark等;

2、精通Linux/Unix系统;

3、有数据分析经验优先，精通一门以上脚本语言

(shell/perl/python等)，熟悉java/C/C++/Golang等开发语言一种

及以上;

4、有2年以上大数据平台相关运维开发经验，了解分布式平台运

行的原理，并有实际部署维护经验;

5、学习能力和主动性强，具有钻研精神，充满激情，乐于接受挑

战;

6、良好的服务意识，善于团队协作，项目管理，主动思考，自我

驱动力强。

大数据运维工程师的工作职责篇3

1.负责公司大数据业务集群的运维工作

(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)确保集群环境的

稳定可用;

2.负责集群容量规划、扩容及性能优化;

3.负责大数据集群性能监控与优化，故障处理，数据备份及容灾

恢复，集群出现异常时，能快速定位问题，并及时给出解决方案;

4.设计实现大规模分布式集群的运维、监控和管理平台;

5.参与/主导业务架构设计，在设计阶段给出可运维性改进建议;

6.深入研究大数据业务相关运维技术，持续优化集群服务架构，

探索新的大数据运维技术及发展方向;

7.参与例如服务器维护、项目维护、监控维护等常见运维事务

大数据运维工程师的工作职责篇4

职责：

1、负责和参与公司大数据基础架构平台规划，运维，监控和优化

工作，保障数据平台服务的稳定性和可用性;

2、研究大数据前沿技术，改进现有系统的服务和运维架构，提升

系统可靠性和可运维性;

3、负责和参与自动化运维系统及平台的建设;