大数据开发工程师的具体职责（精选27篇）.pdf

大数据开发工程师的具体职责（精选27篇）

大数据开发工程师的具体职责篇1

职责：

1、本岗位培养方向为证券基金行业数据架构师;

2、辅助大数据架构师制定项目开发流程、规范，辅助数据模型设

计人员进行模型设计;

3、辅助技术架构师进行大数据平台调优(业务逻辑角度);

4、负责大数据平台开发，包括数据抽取、转换和加载;

5、负责控制数据需求、管理项目开发进度，配合QA完成项目质

量管理;

职位要求：

1、2年以上证券或者基金行业数据中心、大数据平台建设经验;

2、具备较强的学习能力，对数据模型和大数据技术有浓厚的兴趣;

3、熟练掌握基于ORACLE或MPP数据库或Hadoop等开发技

术;

4、至少掌握一种ETL开发工具。如：Informatica、DataStage、

SSIS、Kettle等;

5、良好的团队合作精神、公司提供优厚待遇。

大数据开发工程师的具体职责篇2

职责：

1、在hadoop平台进行hive/hbase/spark开发;

2、处理公司大数据平台产品的技术工作，包括存储、处理、分析、

挖掘、架构设计、研发工作;

3、熟悉设计、构建和优化基于hadoop/Hbase的存储平台架构;

4、熟悉整体提升hadoop/Hbase/Storm/Spark集群的高可用性、

高性能、高扩展特性;

5、部门相关工作。

岗位要求：

1、计算机等相关专业大专及以上学历;

2、3年以上软件开发经验，精通Java开发，至少2年以上

Hadoop相关开发经验;

3、熟悉分布式系统、分布式计算系统的工作机制，具有大规模数

据平台，高并发大型系统，大数据等架构设计和开发经验;

4、熟悉sqoop、Hive、hbase、spark等大数据生态组件;

5、精通linuxshell和sql脚本;

6、有javaweb开发经验者优先;

7、良好的团队精神和沟通能力，很强的逻辑思维能力和学习能力。

大数据开发工程师的具体职责篇3

职责：

1、大数据的分布式采集与环境搭建和测试;

2、大数据存储、处理和分析工作;

3、大数据相关产品线的改进和相关核心开发工作;

4、其他大数据相关工作。

任职要求：

1、本科及以上学历，计算机相关专业;

2、2年以上Java开发及大数据相关开发经验，java基础扎实，

熟练掌握多线程、集合、缓存、序列化、nio等技术;

3、熟悉Linux环境，熟悉Linuxshell/python/perl任一脚本;

4、熟悉Hadoop、Spark、ZooKeeper等主流的大数据处理架构，

并有1年以上Hadoop相关的实际开发、架构及调优经验;

5、使用过阿里云;

6、熟悉架构;

7、具有较好的学习能力、沟通表达能力及团队合作能力。

大数据开发工程师的具体职责篇4

职责

1.负责大数据分析需求设计和开发工作，包括数据存储、预处理、

查询、统计、实时分析、数据优化及配置等功能;

2.对大数据分析系统存在的问题进行跟踪和定位并及时解决;

3.负责上级交办的其他相关工作。

岗位要求：

1.本科以上学历，2年以上工作经验;

2.Java基础扎实，熟练使用JavaIDE进行代码编写和调试，熟悉

JUnit单元测