大数据开发工程师的基本职责（精选20篇）.pdf

大数据开发工程师的基本职责（精选20篇）

大数据开发工程师的基本职责篇1

职责：

1.参与大数据平台搭建以及项目技术架构。

2.数据分析，挖掘，模型具体的产品化;

3.根据产品需求，分析编写和制定大数据相关解决方案

岗位要求：

1、计算机相关专业本科以上学历，编程基础扎实，有2年以上大

数据开发经验

2、熟悉Hadoop生态和体系架构，熟悉Flink、Spark，Hive等

常用开源工具

3、熟悉Flume，kakfa，scribe等日志收集体系

4、熟悉主流数据库(Oracle、postgresql、Mysql、SqlServer)

中的1种及以上，有较好的SQL性能调优经验

5、有数据仓库ETL经验者优先

6、有用户行为日志采集、海量数据处理、数据建模方面经验者优

先

7、有持续学习的能力;喜欢开源软件，乐于知识分享;对工作认真

负责;可以独立承担较大工作压力

大数据开发工程师的基本职责篇2

职责:

1、负责大数据平台的基础环境搭建与性能优化，完成平台的构建

与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与

研发;

2、对各种开源框架进行深入的代码剖析和优化;

3、参与大数据技术方案评审;

4、指导初中级大数据工程师工作;

岗位要求:

1、计算机相关专业全日制专科及以上学历，具有3年或以上的分

布式计算平台研发工作经验;

2.对大数据相关组件：Hadoop、Spark、Hbase、Hive、Flink、

Kafka、Flume等架构与底层实现有深入理解，具备相应的定制和研发

能力，尤其需要精通Flink框架;

3.具备构建稳定的大数据基础平台的能力，具备数据收集、数据

清洗、数据仓库建设、实时流计算等系统研发经验;

4.对技术有热情，有不错的数据思维和敏感度，有一定的数据分

析能力优先，对深度学习、机器学习有一定的了解优先;

5.工作有计划性，责任心和执行能力强，具备高度的责任心、诚

信的工作作风、优秀沟通能力及团队精神。

大数据开发工程师的基本职责篇3

职责：

1、大数据日志分析系统的设计，选型和开发;

2、配合各业务给予数据支持，对产品和运营数据总结和优化;

3、处理用户海量数据，提取、分析、归纳用户属性，行为等信息，

完成分析结果;

4、发现并指出数据异常情况，分析数据合理性;

5、公司大数据基础架构平台的运维，保障数据平台服务的稳定性

和可用性;

6、大数据基础架构平台的监控、资源管理、数据流管理;

7、基于数据分析的可预测的云平台弹性扩展解决方案。

任职要求：

1、日志分析数据系统实际经验;

2、3年以上互联网行业研发经验，有使用Hadoop/hive/spark

分析海量数据的能力;

3、掌握Hadoop、Flume，Kafka、Zookeeper、HBase、

Spark的安装与调试;

4、熟悉大数据周边相关的数据库系统，关系型数据库和NoSQL。

5、掌握Linux操作系统的配置，管理及优化，能够独立排查及解

决操作系统层的各类问题;

6、有良好的沟通能力，具备出色的规划、执行力，强烈的责任感，

以及优秀的学习能力。

大数据开发工程师的基本职责篇4

职责：

1、数字货币领域数据统计分析，负责数字货币量化投资策略的设

计、管理以及实际投资运作

2、与交易员对接，制定切实可行的的策略测试计划，开展新策略

模型的开发和验证

3、协助交易员进行交易、风险管理，并对实际交易结果进行量化

的绩效分析，推动交易自动化

4、上级交办的其他工作

任职要求：

1、数学/计算机/金融专业毕业，有扎实的算法和机器学习的理