大数据运维工程师的职责（32篇）.docxVIP

大数据运维工程师的职责（32篇）

大数据运维工程师的职责（精选32篇）

大数据运维工程师的职责篇1

职责:

1.负责公司核心集群的运维工作,任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;

2.负责集群容量规划、扩容及集群性能优化;

3.基于大数据应用需求，持续优化Hadoop框架及组件的配置，提升性能;

任职资格：

1.大专以上计算机，通信和网络相关专业;

2.3年以上中等规模集群环境下的Hadoop/Impala/Hive/Spark集群相关运维经验;

3.对各种HDFS/Yarn/Hive/Impala/Spark/Hbase等相关参数调优,性能优化等有实际经验;

4.有实际踩坑经历,对于相关组件的版本跟进,补丁跟踪,bug追踪等有相关经验;

5.实际处理过各种集群在线版本升级,数据迁移,集群扩容,稳定性监控等工作;

6.熟悉Kerberos安全认证系统，实施过集群权限管理,资源隔离方面的方案规划或二次开发工作;

7.能维护Hadoop源码，有Hadoop源代码BUG修复或者源代码优化经验者优先;

8.有Cloudera的CM使用经验尤佳。

大数据运维工程师的职责篇2

职责：

1、负责银行各类应用系统的运维标准制定和运维管理等工作;

2、负责银行各类应用系统的运行情况及相关技术的整理、分析和总结等工作;

3、负责银行各类应用系统的应用监控、应用运维体系工具的建设和维护工作;

4、负责银行各类应用系统的自动化脚本编写和测试工作。

招聘要求：

1、全日制一本以及以上学历，理工类专业;

2、具备2年及以上应用系统运维或应用系统开发经验，有银行应用系统运维或开发经验者优先;

3、具备较强的文档编写、英语文档阅读能力;

4、具备良好的沟通表达能力和团队合作精神，具有较强的工作责任心和主动性;

5、至少具备以下二项技能：

(1)熟悉银行应用系统体系架构、应用运维标准化流程;

(2)熟悉AI_、LInu_操作系统相关运维工作，具备熟练的SHELL脚本编程能力;

(3)熟悉应用软件持续集成和持续发布交付项目的整体流程，熟悉Jenkins、Ne_us等相关Devops工具;

(4)熟练使用容器平台相关技术，有容器平台管理工作、应用容器打包的相关经验;

(5)熟练使用Golang或者Python编程。

大数据运维工程师的职责篇3

职责：

1负责政务云平台、政务应用系统中数据库业务的日常运维，保障平台及应用系统服务7_24稳定可靠高效运行

2负责数据库性能调优，了解锁与隔离机制，协助客户解决数据库性能瓶颈

3制定数据库使用规范，制定数据库备份、升级、迁移规划并部署实施

4参与数据库设计工作，提高数据库维护自动化水平

5熟悉Linu_操作系统，熟练使用Python，Go，Shell等至少一种语言

岗位要求：

1)5年以上Oracle/MySQLDBA从业经验;

2)熟练掌握Oracle/MySQL数据库的基础理论知识、运行机制、体系架构、高可用方案、备份机制、容灾机制等;

3)熟练掌握数据库性能优化，了解主流的分布式数据库Spanner/Cassandra;

4)熟悉Linu_/Uni_操作系统，对服务器硬件有一定了解;

5)熟练掌握golang、Python、Java等语言中的一种;

6)熟悉阿里云产品线，具备ACP认证者优先考虑;

大数据运维工程师的职责篇4

职责：

-负责局点大数据平台的部署、管理、优化、监控报警，保障平台服务7_24稳定可靠高效运行;

-深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;

-开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

-负责Hadoop/spark/Kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求：

-4年以上运维相关工作经验，有大数据平台运维相关工作经验优先;

-具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等协议;

-熟悉Linu_(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务。熟练使用Linu_命令和常用的ssh、ftp、git、maven等开发工具;

-熟悉Hadoop大数据生态圈，包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafk