- 1、本文档共35页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
宜信数据中台实践之路
目录宜信数据处理发展史敏捷中间件实践数据中台实践数据治理探索数据中台思考
目录宜信数据处理发展史敏捷中间件实践数据中台实践数据治理探索数据中台思考
宜信数据处理发展史2019年数据中台2016年敏捷中间件2021年自治平台数据库阶段数据仓库阶段数据平台阶段数据治理阶段数据中台阶段第一阶段第二阶段第三阶段第四阶段第五阶段RDBMS存储过程Hive/RDBMSETL/调度报表/BI存储多样性计算多样性需求多样性统一复用自助数据治理数据资产微信公众号:零竖质量
目录宜信数据处理发展史敏捷中间件实践数据中台实践数据治理探索数据中台思考
「敏捷中间件」—时代背景:数仓时代问题:产品线A应用数据仓库计算存储网络产品线B应用数据仓库计算存储网络产品线C应用数据仓库计算存储网络数据时效慢、需求处理慢、场景应变慢、技术成本高、人力成本高、沟通成本高…架构:微信公众号:零竖质量
「敏捷中间件」—定义与体系敏捷大数据方法论敏捷大数据中间件敏捷大数据理念敏捷大数据实践敏捷大数据方法论|需求分析验证阶段|架构设计选型阶段|实施测试调优阶段|上线部署迁移阶段|管理运维监控阶段敏捷大数据中间件dbus数据采集|wormhole实时处理|moonbox计算服务|davinci可视应用|…|敏捷大数据理念|组件化/平台化/产品化/本地化|标准化/接口化/配置化/可视化|统一化/开放化/管控化|自助化/自动化/智能化|平民化敏捷大数据(AgileBigData),即在敏捷理念原则指导下,构建出一系列通用中间件,和一整套大数据应用全生命周期方法论,以支撑更轻量、更灵活、更低门槛、更快迭代的大数据实践。微信公众号:零竖质量
「敏捷中间件」— 数据流转架构数据源层集成层总线层流式处理层存储层数据服务层应用层关系数据库日志文件服务终端用户程序数据采集平台DBus消息总线kafka流式处理平台Wormholedruid/kylin/es/mongokudu/cass/hbase/chhdfs/hive计算服务平台Moonbox其他应用可视化应用Davincidb2/oracle/mysql数据仓库jupy/zepp/sas/r/hue微信公众号:零竖质量
「敏捷中间件」— 数据采集平台DBusDB2dbuskafkaOracleMySQLMongoDB日志文件UMSDBus(数据采集平台),是一个DBaaS(DataBusasaService)平台解决方案。DBus面向大数据项目开发和管理运维人员,致力于提供数据实时采集和分发解决方案。平台采用高可用流式计算框架,提供海量数据实时传输,可靠多路消息订阅分发,通过简单灵活的配置,无侵入接入源端数据,对各个IT系统在业务流程中产生的数据进行汇集,并统一处理转换成通过JSON描述的UMS格式,提供给不同下游客户订阅和消费。DBus可充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。功能特性无侵入方式接入多种数据源海量数据实时传输自动感知数据源Schema变更初始加载和独立加载可靠多路消息订阅分发实时监控预警可视化后台管理系统支持分表数据汇集多租户支持微信公众号:零竖质量
「敏捷中间件」— 数据采集平台DBusMasterSlavebinlogHeartbeat心跳预警监控LogAgent(Logstash/Flume/Filebeat/…)Processor算子处理FileExtractor日志抽取Stream流式转换Dispatcher分发预处理KafkaTopic(Schema1)KafkaTopic(SchemaN)FullPuller全量拉取FullSplitter分片UMS通知告警监控展示元数据变更通知全量拉取增量拉取微信公众号:零竖质量
「敏捷中间件」— 流式处理平台WormholeWormhole(流式处理平台),是一个SPaaS(StreamProcessingasaService)平台解决方案。Wormhole面向大数据项目开发和管理运维人员,致力于提供数据流式处理解决方案。平台专注于简化和统一开发管理流程,提供可视化的操作界面,基于配置和SQL的业务开发方式,屏蔽底层技术实现细节,极大降低了开发门槛,使得大数据流式处理项目的开发和管理变得更加轻量敏捷、可控可靠。kafkawormholedb2/oracle/mysqlkudu/cass/hbasehdfsLog/csvdruid/kylin/es/mongo…UMSbackfill微信公众号:零竖质量
「敏捷中间件」— 流式处理平台WormholeKafkaTopic(UMS1…N)KafkaTopic(UMS2…N)HDFSESW
您可能关注的文档
- 0801-02 某大型集团SAP数字化转型方案.pdf
- 0802-01 2024年财务共享业务中台解决方案(上).pdf
- 0807-01 高效的数据全生命周期管理解决方案.pdf
- 0809-01 大型集团公司信息安全整体规划方案.pdf
- 0810-01 2024年财务共享业务中台解决方案(下) .pdf
- 0812-01 大数据平台数据治理与建设方案.pdf
- 0815-01 平安城市联网共享平台解决方案V5.0.pdf
- 0817-01 大数据分析平台总体架构方案.pdf
- 0819-01 华为流程信息化实践与架构规划方案.pdf
- 0822-01 企业架构方法论及典型设计方案.pdf
- 中国国家标准 GB/T 22517.2-2024体育场地使用要求及检验方法 第2部分:游泳场地.pdf
- GB/T 22517.2-2024体育场地使用要求及检验方法 第2部分:游泳场地.pdf
- 《GB/T 22517.2-2024体育场地使用要求及检验方法 第2部分:游泳场地》.pdf
- 苏教版(2017秋)科学三年级下册1.《种子发芽了》 教案(含课堂练习和反思).docx
- 2024-2025学年小学数学六年级上册冀教版(2024)教学设计合集.docx
- 地理商务星球版七年级上册4.5形成气候的主要因素 同步教案.docx
- 2024-2025学年中职中职专业课金融类73 财经商贸大类教学设计合集.docx
- 2024-2025学年初中地理七年级上册(2024)仁爱科普版(2024)教学设计合集.docx
- 2024-2025学年小学英语二年级上册外研版(一起)教学设计合集.docx
- 2024-2025学年高中数学选择性必修 第二册北师大版(2019)教学设计合集.docx
文档评论(0)