企业大数据平台仓库架构建设思路.pdf

企业大数据平台下数仓架构 阿里云-飞天一部 介然 总体思路 模型设计 数加架构 数据治理 新环境下的数据应用特征 业务变化快 数据来源多 系统耦合多 应用深度深 关键词 稳定 可信 丰富 透明 大数据平台特征 强大的计算和存储能力； 多样的编程接口和框架； 丰富的数据采集通道； 各种安全和管理措施； 仓库架构设计原则 自下而上+自上而下； 高容错性； 数据质量监控贯穿整个数据流程； 不怕数据冗余，利用存储换易用； 总体思路 模型设计 数加架构 数据治理 维度建模 OR 实体关系建模  维度建模  实体关系建模  实施简单  实施复杂  便于事实数据分  便于主体数据打 析 通  适合业务分析报  适合复杂数据内 表和BI 容的深度挖掘 星型模型 AND 雪花模型 两种模型是并存的 星型是雪花的一种，理论上真实数据的 模型都为雪花模型，实际数据仓库中两 种模型会并存。 中间层将雪花转变成星型 星型模型相对结构简单，在数据中间层 利用数据冗余将雪花转变成星型模型有 利于数据应用和减少计算资源消耗。 数据分层 上下三层结构 集市层 减少层次结构的目的是为了压缩整体数 用 据处理流程的长度，扁平化的数据处理 流程有助于数据质量控制和数据运维 流式 中间层 流式数据作为数据体系的一部分 通 数据 当前的数据应用方向会越来越关注数据 的时效性，越实时的数据价值度越高。 基础数据层 存 基础数据层 数据清洗