大数据架构师工作的职责.pdfVIP

大数据架构师工作的职责

大数据架构师工作的职责

大数据架构师工作的职责1

职责

1、负责大数据架构设计，包括定义数据的存储、集成（ETL）、

应用，支撑业务运营和数据分析类需求实现；

2、制定数据治理领域的数据体系化管理措施，包括元数据设计、

数据标准、数据质量、数据处理、数据安全等工作，确保数据可信与

安全；

3、基于行业数据积累，满足业务的数据挖掘需求，实现从数据到

资产的转变，根据目标行业建立具有前瞻性的数据模型；

4、对各产品的数据安全负责，主导制定和实施数据库系统安全策

略，保证整体方案数据安全；

岗位要求

业务技能要求：

1、深入理解云化、数据仓库，在参与过的系统设计中，必须涉及

这两项关键技术；

n2、精通或者熟悉Hadoop体系架构，以及

HDFS/HBase/Hive/MapReduce/Spark等技术，了解体系架构各组

件的优缺点，有直接的产品设计与开发、部署、调优的经验；

3、精通或熟悉常见RDBMS（Oracle/PostgreSQL/MySql）、

NoSQL（Redis/Memcached/MongoDB）、全文有哪些信誉好的足球投注网站引擎

（Solr/ElasticSearch）的使用及开发，了解各数据库优缺点，熟悉与

架构设计相关的数据存储、性能调优等相关领域知识，有相关项目经

验尤佳；

4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、

数据分析的技术方案，具有数据分析或数据挖掘相关经验者优先；

n5、熟悉数据治理相关流程，包括数据接入、数据处理、数据治

理、数据组织、数据服务等。

专业知识要求：

1、具备数据治理的知识与体系方案，包含政策、组织、角色、流

程、规范等，以及规划相应的支撑方案。了解业界的数据管理方法论；

2、具备数据用例设计和开发能力。能够基于业务相关数据进行业

务需求分析和痛点识别，将业务需求转化为数据的需求，完成数据用

例的设计和开发；

3、精通海量数据（日增量百亿）级别数据仓库、数据集市的构建

流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。

大数据架构师工作的职责2

职责：

1、负责设计企业级大数据平台的整体架构，从技术层面制定清晰

的大数据产品与系统技术架构，并负责实现关键技术和产品。

2、负责设计具有创新价值的大数据底层平台、大数据上层应用系

统等，带领团队完成有质变的技术解决方案。

3、负责组织同事研究行内最前沿的技术发展方向，突破现有的技

术难题。

4、负责研究院对外项目合作协调与支持，编写项目建设方案及后

期项目建设支持。

任职要求：

1、硕士及以上学历，计算机相关专业。

2、JAVA基础扎实，不少于8年的一线开发经验，精通Spring

boot/MyBatis/RestfulAPI的开发与管理、熟悉

ReactJS/Angular/Vue之一前端开发技术，熟悉Maven或Ant、，熟

悉Python语言开发加分。

3、不少于4年大数据的直接研发经验，精通Hadoop/Spark系

统，有hands—on的架构设计、性能调优、开发经验。有MongoDB、

Kafka、Hbase/Cassandra/Storm/Hive等系统的开发经验。

4、掌握分布式系统原理，对分布式存储、流式计算、消息队列中

的一项或多项有深入的理解和认识。

5、熟悉分布式系统的监控、运维、故障恢复，高可用原理和设计

理念。

6、算法基础扎实，熟悉常见的数据结构，掌握大规模高并发访问、

大数据开发等处理经验；熟练的Linux系统