基础数据建设实践精选课件.ppt

坚持 基础数据建设实践 坚持 互联网+ 大数据 坚持 基础数据建设演进 坚持 原始社会 数据需求方 产品研发工程师 提出需求 产品需求* 日志打印 数据需求 坚持 奴隶社会 数据需求方 提出需求 产品研发工程师 产品需求* 日志打印 数据工程师 数据需求 坚持 封建社会 数据需求方 数据工程师 产品研发工程师 提出需求 日志规范 数据需求 产品需求* 日志打印 坚持 资本主义社会 数据需求方 数据工程师 产品研发工程师 提出需求 日志规范 数据需求 产品需求* 日志打印 主题建设 数据仓库 工程师 坚持 共产主义社会 数据仓库+ 坚持 坚持 数据仓库建设 坚持 日志数据 数据库数据 文档数据 … 业务范围 日志管理 业务划分 … 基础层 结构化 扩展规范 数据标注 … 坚持 中间层 数据仓库 建模 主题划分 一致性 粒度VS灵活 维度模型 坚持 主题划分 高度汇总 指标唯一 数据一致 数据分析平台 需求驱动 线上服务 数据挖掘 … 报表层 坚持 数据质量建设 坚持 坚持 元数据 报表 位置 层级 指标 数据仓库 表结构 属性信息 依赖关系 前端展现 任务 层级 依赖 任务执行情况 元数据管理 日志/业务库元数据 日志模块 日志传输、参数结构 业务库表结构 表、属性状态 ETL 坚持 元数据管理 坚持 日志扫描 类型 离线日志扫描 技术 实时计算 实时日志扫描 规则引擎 分析内容 日志错、漏、重复、异常等 日志使用情况 日志冗余 坚持 坚持