- 1、本文档共36页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
大数据架构师的基本职责(31篇)
大数据架构师的基本职责(精选31篇)
大数据架构师的基本职责篇1
职责:
1.负责整个大数据平台架构的设计和构建;
2.负责构建大数据平台的数据交换、任务调度等通用平台;
3.制定开发、测试、实施、维护的标准和规范,指导和培训工程师,不断提升团队能力。
4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署,负责编写核心部分代码。
5.持续挑战新的技术方向,攻克大数据量、高并发、高可用、可扩展等技术难点。
任职要求:
1.3年以上大数据架构经验,丰富的数据仓库、数据挖掘、机器学习项目经验
2.大规模数据处理的架构和设计实战经验
3.精通Spark、MR,熟练HDFS、Yarn、Hbase、Hive、MongoDB,熟悉Kafka、Redis、Storm、Mahout、Flume、ElasticSearch、GraphDB(NEO4J或其他)等,并具有丰富的大型数据平台工程经验
4.深刻理解大数据处理(流计算,分布式计算,分布式文件系统,分布式存储等)相关技术和实现方法
5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法,熟练Linu_/Uni_平台上的开发环境
6.本科或以上学历,计算机软件或相关专业,丰富的java开发经验和互联网背景优先。
7.具有比较强的问题分析和处理能力,有比较优秀的动手能力,热衷技术,精益求精
大数据架构师的基本职责篇2
职责:
1.深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;
2.对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;
3.搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;
4.根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。
职位要求:
1.5年以上相关工作经验,有团队管理和项目管理经验者优先;
2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;
3.熟练掌握使用Java或Python,精通数据库查询语言如SQL,Oracle等,在机器学习模型和算法方向有应用经验者优先;
4.具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;
5.逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;
6.有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。
大数据架构师的基本职责篇3
职责:
1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;
2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;
3、负责业务平台数据统计分析模块的设计与规划;
4、负责公司产品研发过程中的数据及存储设计;
5、带领和培养团队完成组织分解的目标;
任职要求:
1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;
2、熟悉Java、Hadoop、HDFS、Hive、HBase、Spark、Storm、Flume等相关技术的基础架构
3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;
4、熟悉Linu_系统,熟练使用shell/perl/python脚本处理问题;
5、对深度学习框架(Tensorflow)和机器学习(svm随机深林贝叶斯等)有一定了解的优先;
6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等
大数据架构师的基本职责篇4
职责:
1、从事电信行业大数据项目相关业务调研、产品标准建设、核心模型设计和优化、系统测试等相关工作
2、与数据专业委员会一起研究数据建模方案和建模工具,负责产品线产品的数据架构、数据模型设计
3、参与研究数据库之间的数据转换方式,参与项目中的数据移植工作,收集在项目中的数据移植经验,优化产品的数据模型
4、负责培训本部门队伍的数据模型基础理论工作,建立数据模型团队
岗位要求:
1、统招本科学历,3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通SQL,有较好的SQL性能调优经验;
2、拥有Python,R等数学建模工具的使用经验,并具备一定的数据处理和建
文档评论(0)