0823-01 宜信数据中台实践之路.pptx

  1. 1、本文档共35页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

宜信数据中台实践之路

目录宜信数据处理发展史敏捷中间件实践数据中台实践数据治理探索数据中台思考

目录宜信数据处理发展史敏捷中间件实践数据中台实践数据治理探索数据中台思考

宜信数据处理发展史2019年数据中台2016年敏捷中间件2021年自治平台数据库阶段数据仓库阶段数据平台阶段数据治理阶段数据中台阶段第一阶段第二阶段第三阶段第四阶段第五阶段RDBMS存储过程Hive/RDBMSETL/调度报表/BI存储多样性计算多样性需求多样性统一复用自助数据治理数据资产微信公众号:零竖质量

目录宜信数据处理发展史敏捷中间件实践数据中台实践数据治理探索数据中台思考

「敏捷中间件」—时代背景:数仓时代问题:产品线A应用数据仓库计算存储网络产品线B应用数据仓库计算存储网络产品线C应用数据仓库计算存储网络数据时效慢、需求处理慢、场景应变慢、技术成本高、人力成本高、沟通成本高…架构:微信公众号:零竖质量

「敏捷中间件」—定义与体系敏捷大数据方法论敏捷大数据中间件敏捷大数据理念敏捷大数据实践敏捷大数据方法论|需求分析验证阶段|架构设计选型阶段|实施测试调优阶段|上线部署迁移阶段|管理运维监控阶段敏捷大数据中间件dbus数据采集|wormhole实时处理|moonbox计算服务|davinci可视应用|…|敏捷大数据理念|组件化/平台化/产品化/本地化|标准化/接口化/配置化/可视化|统一化/开放化/管控化|自助化/自动化/智能化|平民化敏捷大数据(AgileBigData),即在敏捷理念原则指导下,构建出一系列通用中间件,和一整套大数据应用全生命周期方法论,以支撑更轻量、更灵活、更低门槛、更快迭代的大数据实践。微信公众号:零竖质量

「敏捷中间件」— 数据流转架构数据源层集成层总线层流式处理层存储层数据服务层应用层关系数据库日志文件服务终端用户程序数据采集平台DBus消息总线kafka流式处理平台Wormholedruid/kylin/es/mongokudu/cass/hbase/chhdfs/hive计算服务平台Moonbox其他应用可视化应用Davincidb2/oracle/mysql数据仓库jupy/zepp/sas/r/hue微信公众号:零竖质量

「敏捷中间件」— 数据采集平台DBusDB2dbuskafkaOracleMySQLMongoDB日志文件UMSDBus(数据采集平台),是一个DBaaS(DataBusasaService)平台解决方案。DBus面向大数据项目开发和管理运维人员,致力于提供数据实时采集和分发解决方案。平台采用高可用流式计算框架,提供海量数据实时传输,可靠多路消息订阅分发,通过简单灵活的配置,无侵入接入源端数据,对各个IT系统在业务流程中产生的数据进行汇集,并统一处理转换成通过JSON描述的UMS格式,提供给不同下游客户订阅和消费。DBus可充当数仓平台、大数据分析平台、实时报表和实时营销等业务的数据源。功能特性无侵入方式接入多种数据源海量数据实时传输自动感知数据源Schema变更初始加载和独立加载可靠多路消息订阅分发实时监控预警可视化后台管理系统支持分表数据汇集多租户支持微信公众号:零竖质量

「敏捷中间件」— 数据采集平台DBusMasterSlavebinlogHeartbeat心跳预警监控LogAgent(Logstash/Flume/Filebeat/…)Processor算子处理FileExtractor日志抽取Stream流式转换Dispatcher分发预处理KafkaTopic(Schema1)KafkaTopic(SchemaN)FullPuller全量拉取FullSplitter分片UMS通知告警监控展示元数据变更通知全量拉取增量拉取微信公众号:零竖质量

「敏捷中间件」— 流式处理平台WormholeWormhole(流式处理平台),是一个SPaaS(StreamProcessingasaService)平台解决方案。Wormhole面向大数据项目开发和管理运维人员,致力于提供数据流式处理解决方案。平台专注于简化和统一开发管理流程,提供可视化的操作界面,基于配置和SQL的业务开发方式,屏蔽底层技术实现细节,极大降低了开发门槛,使得大数据流式处理项目的开发和管理变得更加轻量敏捷、可控可靠。kafkawormholedb2/oracle/mysqlkudu/cass/hbasehdfsLog/csvdruid/kylin/es/mongo…UMSbackfill微信公众号:零竖质量

「敏捷中间件」— 流式处理平台WormholeKafkaTopic(UMS1…N)KafkaTopic(UMS2…N)HDFSESW

您可能关注的文档

文档评论(0)

零竖质量 + 关注
实名认证
内容提供者

专注数智化转型升级,致力于研究各行业数智化建设、大数据与数据治理、信息安全、人工智能与元宇宙等业务顶层设计咨询+落地解决方案。微信公众号同名。

1亿VIP精品文档

相关文档