大数据开发工程师的岗位要求一共6个.pdf

大数据开发工程师的岗位要求一共6个

岗位要求1：

1.五年以上工作经验，扎实的计算机基础，具备良好的系统分析

能力、逻辑思维能力和独立分析解决问题能力；

2.精通Java语言、设计模式、面向对象编程思想，熟悉常见框

架技术，对多线程、网络编程、事务、反射、IO、锁等有一定理

解；

3.熟悉分布式开发，有高可用、高并发等开发经验；有相关的运

维经验；

4.精通spark架构原理和机制，熟悉列式存储组件；熟悉实时开

发流程，有相关项目经验者优先考虑；

5.主动性强，自学能力强，善于钻研；

6.有python语言基础者优先；

7.有数据结构、算法相关知识者优先。

岗位要求2：

1、计算机相关专业本科211以上学历，32周岁以下，有大数据

开发运维经验。

2、熟悉服务器软硬件体系结构，精通Linux和大数据的存储和

计算模型，有相关经验

3、精通一种开发语言（Python、Scala、Java等），并具有快

速学习其他开发语言的能力

4、熟悉Hadoop(HDFS/MapReduce/Hive/HBase)、presto、Flink、

Spark、Kafka、elasticsearch的使用，熟悉Mysql等关系型数

据库和NoSql技术。

5、有证券从业资格者优先。

岗位要求3：

1、拥有分布式系统相关研发经验，熟悉分布式系统相关理论，

如Paxos/Raft等；

2、熟悉网络编程，多线程编程，熟悉Linux下性能调优；

3、熟悉分布式存储系统的关键技术点及解决方案；

4、熟悉业界主流分布式文件系统HDFS/CephFS/GlusterFS等

经验者优先；

5、以上系统当中，向社区贡献过patch者优先

6、优秀的编码能力，针对具体的业务场景快速设计和实现落地

的能力；对工程质量有很高的自我要求；

岗位要求4：

1、计算机科学与技术、大数据、应用数学等相关专业，本科及

以上学历，5年及以上工作经验；

2、熟练掌握大数据平台（包括但不限于Hadoop、HDFS、Map

Reduce等）基本原理及架构，了解大数据通用平台物理设备、

网络转发、端口协议等方面的知识；

3、对大数据生态圈有深入认识，对大数据基础架构和平台底层

原理有深度理解和丰富开发经验，具备Hadoop、Hive、HBase、

kudu、Impala、Kafka、MapReduce、Spark、Kylin、Oozie、

Sqoop、ElasticSearh等技术的熟练使用。

4、熟练掌握常见SQL、NoSQL数据库原理、数据库设计、查

询编写和优化；

5、熟练掌握JAVA语言，熟悉SpringCloud微服务架构，对JVM

有了解者优先，熟悉Python更佳；

6、对数据敏感，能够通过业务模式和数据字典洞察数据规律，

总结归纳数据规范；

7、具备优秀的沟通和组织协调能力，有团队意识，任务执行力

强；

8、具备大数据平台运维和开发经验，能够独立升级大数据平台

核心组件及相关功能者优先。

岗位要求5：

1、熟悉Java、scala或者Python等开发语言，及相关的常用功

能库；熟悉Linux系统，并会使用Shell脚本；

2、熟悉Hadoop、Hbase、Spark、Kafka等大数据相关技术，

并至少具备2年以上大数据应用开发经验；

3、有扎实的Java基础,熟练掌握jvm机制、多线程、常用容器、

反射等基础知识；

4、快速的学习能力和优秀的分析和解决问题能力，有团队意识；

5、有物联网大数据平台从业经验者优先；

岗位要求6：

1、掌握大数据生态体系产品的工作原理与应用，包含但不限于

HDFS、MR、Yarn、Hive、HBase、Impala、Spark