企业数据中台整体介绍及建设方案.ppt

数据的实时清洗、归并、结构化数仓的补充和优化用户行为预警、AppCrash预警、服务器攻击预警内容投放、无线智能推送、实时个性化推荐等实时计算相关指标反馈及时调整决策数据化运营活动实时直播大屏实时流计算实时ETL监控预警实时在线系统实时报表对用户行为或相关事件实时监测和分析，基于风控规则进行预警数栈-开发套件：大数据的“视窗操作系统”开源生态兼容全生命周期覆盖◎全链路覆盖数据价值释放过程，支持实时、离线和智能计算可视化操作界面◎屏蔽底层复杂的分布式计算引擎，基于Web的开发平台，提高开发效率◎兼容CDH、HDP、EMR等第三方开源分布式计算引擎数据输入任务开发与调度任务状态监控数据资产管理数据模型规范数据输出实时/离线/智能分布式计算引擎数栈-开发套件◎ 屏蔽底层分布式开源引擎的复杂性，以更加友好、便捷、可视化的方式提供一站式数据开发工作台协作开发任务 调度类型 依赖支持SQL、MR、PySpark、Python、Shell、Tensofrflow、MxNet等多种不同类型任务和临时查询，满足SQL查询、自定义函数、机器学习、深度学习、外部功能调用等不同场景开发需求支持工作流，便捷完成整个ETL链路的开发自主研发的DTEngine内核，支持复杂的调度与依赖配置内置130多种系统函数，充分满足不同场景的任务配置自动解析SQL并生成推荐的任务，简化依赖配置流程支持自定义参数，灵活满足不同计算场景需求愉悦的WebIDE编程体验，支持代码自动补全、列模式编辑、主题切换等统一的代码提交、资源管理和函数管理，一站式完成数据开发任务完善的任务锁机制和代码历史版本支持，充分满足团队协作式开发的趋势数栈-开发套件：分布式高性能同步引擎FlinkX◎ 数据同步在不同存储系统中起到“桥梁”的作用，是数据中台的基础核心功能◎ 支持多种不同的异构存储系统数据，插件化架构可随时支持更多的新数据源需求◎ 底层基于Flink分布式架构，支持大容量、高并发同步，相比单点同步性能更好，稳定性更高FlinkX源码已由数栈研发团队贡献给开源社区，详情请参考：/DTStack/flinkxZdal支付宝分布式数据库中间件，支持MySQL、Oracle、DB2分库分表架构OracleSQLServerHDFSHiveHBasePostgreSQLMongoDBRedisSElasticSearchODPFTPMySQLZdal[2][1]FlinkXFlinkX读取写入存储存储存储存储存储数据开发-可视化的调度与依赖配置◎ 自主研发的数据任务调度引擎（DTEngine），单台虚拟机最高支持万级别任务的复杂调度[1]，让数据加工更流畅◎ 可视化的调度周期、任务依赖配置，支持多种调度参数，充分满足开发过程中的各种需要多种调度周期多种依赖模式支持复杂的任务间DAG依赖可视化配置支持任务自依赖模式多种调度参数为使任务自动周期运行时能动态适配环境变化，开发套件内置4种系统调度参数，满足绝大多数场景的任务配置需求，同时可支持灵活的自定义参数配置支持分钟、小时、天、周、月多种调度周期的可视化配置[1]：测试环境的硬件配置：4核8G内存的虚拟机数据地图：可视化的数据资产管理◎ 随着企业发展，数据规模逐渐增长，对已有数据资产的管理会越来越重要◎ 数据地图基于租户级别提供统一的数据管控体系，包括完善的数据授权模块，提升平台的数据安全性类目体系基本管理血缘关系脏数据管理生命周期操作记录权限管理对新建、删除、变更表结构等操作自动记录，实现数据操作踪迹可查询根据任务、脚本等因素自动建立血缘关系，提高数据异常问题排查速度，实现数据链路的可查询、可跟踪对同步任务产生的脏数据统一查看与管理租户间数据严格隔离租户内支持表级权限授权和审批流程，保障数据安全覆盖全部数据的自动化生命周期管理，提高存储系统利用效率，降低存储成本支持多级类目管理，确保数据资产能够分门别类，便于后续的查找和维护自动更新平台中表的元数据，记录表名、字段、分区、存储等信息，同时支持数据预览数据模型：3步实现规范化数据中台开发◎ 数据模型内置经过阿里实战检验的OneData规范，也支持不同行业的建模规范配置，将传统的人工经验+人工约定模式改为系统化规范方式基础配置 模型设计 检测中心 规范化表级规则生成◎模型检测◎ 模型层级（ODS/DWD/DWS）◎模型不规范原因分析◎ 主题域(销售、库存、用户）层级◎字段检测◎ 刷新频率