通用语义层数据建模方法论V1.0-public选读.pptx

通用语义层数据模型建设思路;内容提纲;内容提纲;; ;以往数据仓库类项目模型设计成果示例;当前，数据仓库最佳实践之数据架构;内容提纲;通用语义层起源与BO;通用语义层带来的价值;;经过敏思苦想、群策群力，终于有了答案。。。。;现在，我们来重新定义通用语义层;;;;通用语义层框架构成- 建模速成四步法; 基于保险业务核心价值链和业务事件分析的维度总线架构; 基于投资资产业务核心价值链和业务事件分析的维度总线架构;内容提纲;;内容提纲;通用语义层建设目标;通用语义层模型特性;CSL模型特性—业务完整性;CSL模型特性—数据集成性;CSL模型特性—ETL性能;CSL模型特性—标准与规范;CSL模型特性—数据可用性;CSL模型特性—扩展性;;内容提纲; ;内容提纲;I 沟通建模思路-行业模型介绍;客户化研讨 通用数据模型分析，各方案优缺点研讨 数据模型建设方向 数据模型方??论确定 数据模型建设提交文档清单 数据模型建设规范，如文档规范、模型设计规范、版本管理方法 交流数据模型建设过程与参与各方人员工作分工;讲解模板 讲解数据建模过程和要求 讲解数据源表和字段分析模板 讲解模板中字段枚举信息和使用要求 介绍模板中宏的使用情况 介绍数据建模过程中模板填写要求,含功能性要求、规范性要求、时效性要求;;内容提纲;;前期准备-收集资料;前期准备-确定范围;;内容提纲;Ⅲ：数据探查，分析数据源;;;;;梳理指标关系;数据质量分析，关注数据质量问题;内容提纲;;内容提纲;需求分析，论证模型可行性;编写Mapping，并验证加工规则;通用语义层数据模型信息处理规则;;PDM设计，根据词库内容和命名规范，对LDM中的实体、属性、关系进行命名； 利用ERWin导出建表语句，对这些语句进行版本管理，便于模型版本控制盒成果交付； 代码表数据准备，源表字段级分析时，就会整理一些硬编码信息，利用excel宏将这些代码信息生成sql语句，便于ETL的开发、和将来生成上线代码表初始化； 编写程序模板，模型加载一般分硬编码维度加载、公共维度表加载、专用维度加载、概貌表加载、事件表加载、度量表加载。 根据ETL对源表数据的捕获方式（增量/存量），衍生出以下几种算法： 全删全插算法，用与硬编码维度、专用维度加载； 标准拉链算法，用于概貌表加载； DeSert算法，先删后插算法，用于事件表加载 Upsert算法，先更新在插入记录，可用于度量表加载；;后期版本维护，建立起规范流程;应用验证 数据验证 合理性验证 规范验证;内容提纲; ;案例：某人寿集团数据仓库通用语义层设计成果;内容提纲;小结：;Q/A 讨论！