大数据开发工程师岗位要求.pdf

大数据开发工程师岗位要求

岗位要求1：

1、计算机相关专业全日制统招本科及以上学历，并有3年以上

Hadoop/HBase大数据平台实施经验；

2、对Hadoop生态技术体系有深入了解，如HDFS、MapReduce、

Zookeeper、HBase、Hive、Impala、Spark、Kylin等；

3、有PB级别互联网或者金融交易数据量处理落地项目实施经

验，熟悉整个大数据平台的处理流程和大规模分布式集群的环境

搭建；

4、熟悉互联网、移动互联网或电商等行业大数据应用场景及大

数据算法，具有相关行业大型项目开发或实施经验优先；

5、熟悉Linux/Unix环境下的Shell脚本、熟悉Python/Shell/Perl

任意一种脚本语言；

6、熟悉常用运维监控工具

（nagios/ganglia/zabbix/grafana/openfalcon等）和相关插件的

开发。比如邮件、短信、微信报警插件等；

7、具备良好的服务意识，善于主动思考，自我驱动力强。有良

好的沟通、协调能力，富有团队精神，有较强的文档编写能力；

8、有大数据开发经验和阅读源码能力者优先。

岗位要求2：

1、本科及以上学历，计算机等相关专业；

2、熟悉java，熟悉主流的开源框架（SpringBoot或者EJB3），

具备扎实的数据结构功底；

3、精通

MySQL/Oracle/MongoDB/Redis/HDFS/HBase/Elasticsearch

等常用数据库，有数据库性能调优经验，熟悉数据库部署灾备解

决方案，具有数据库部署运维能力；

4、熟悉SparkStream、SparkSQL、Hadoop生态圈技术，有丰

富的RDD/MapReduce开发经验；

5、熟练使用Linux系统，至少熟悉JAVA/PHP/shell/python中

的一种脚本语言；

6、有分布式大数据挖掘、分析、数据仓库开发实施经验者优先；

7、工作认真负责，有较强的钻研学习能力和分析解决实际问题

的能力。

岗位要求3：

1.精通Java，熟悉Scala、Python语言加分。

2.熟悉Hadoop、Spark、Flink、Kafka、Presto、Kylin、ES、

Hive、CarbonData等三门以上，熟悉原理源码、有二次开发优

先。

3.有数据传输、开发、计算、治理、安全等平台设计和开发经

验的优先。

4.有数据分析、机器学习、数据挖掘经验者优先。

5.擅于沟通和解决问题，乐于总结分享，有想法，有冲劲，有

团队精神和主人翁意识和责任感。

6.喜欢去看及尝试必威体育精装版的技术，追求编写优雅的代码，从技术

趋势和思路上能影响技术团队。

加分项：

1.在GitHub或其他平台上有过开源项目

2.有个人技术博客，公开发布过技术文章、论文等

岗位要求4：

1.至少3年数据库开发经验；

2.熟悉hadoop体系架构，熟悉hbase，hive，zookeeper等工

作原里；

3.精通Hive，具备一定优化经验和开发经验，理解Hbase体系

架构；

4.孰悉某种关系型数据库(oracle，llysqlsqlserver，Postgresql)，

熟悉PG数据库优先；

5.孰悉linux/unixshell，孰来(perl/python/shell)任意一种却本语

言。

岗位要求5：

1.至少3年Hadoop