EDW_(DM数据仓库数据建模)模型设计.pptx

BI.Insurance i.DWM for PC 模型设计说明日程 |为什么需要模型模型的组织结构模型实施方法模型设计策略Q A日程 |为什么需要模型模型的组织结构模型实施方法模型设计策略Q AEDW体系架构源系统层ETL层数据仓库层ETL层数据集市层应用层展现层手工数据企业信息门户数据仓库业务量分析数据集市车险承保分析通用承保分析企业统一分析平台核心业务监管报表管理报表业务持续性分析数据集市风险管理应用财务系统“数据和信息集成平台”“统一的分析平台”“唯一的信息出口”再保险系统运营报表仪表盘大客户分析管理系统人意险系统aCRM报告精算系统随机查询多维分析aCRM引擎aCRM 数据集市客户关系管理OCRMALM数据集市ALM应用数据挖掘引擎数据挖掘应用客户讯息ECIF保险数据模型财务分析数据集市财务分析应用外部数据元数据库为什么需要企业模型？数据集市之间数据一致性包含全部历史的核心数据一致的事实表和维度EDW 数据模型在项目实施中的作用 Informix DB2SQLOracleXML FileFlat FileBSA业务模版应用BAM业务分析模型DWM数据仓库模型运营型业务系统报表分析型应用数据仓库数据集市日程 |为什么需要模型模型的组织结构模型实施方法模型设计策略Q A模型总体结构－EM DataMarts 需求模型业务数据模型指标要素企业模型核心原子数据事实表和维度导出映射数据集市财务报表数据集市中介绩效分析数据集市健康险盈利性管理数据集市客户细分和管理潜在客户管理营销管理快速入门保险盈利性分析DWM 数据模型逻辑结构协议地理位置交易理赔产品组织资源渠道当事人事件营销和沟通保险标的个人或团体及其基本信息和相关信息分支机构、部门和职员的信息为增加客户、保留客户、拓展业务而进行的策略、规划或促销事件被保险的标的物及标的物的相关信息任何市场化的产品或服务和客户之间为某种产品或服务而设定的协议信息与客户交易或接触的渠道信息与客户之间资金或非资金活动的信息地理区域，物理的或电子的地址信息与理赔相关的活动及各理赔环节保险公司的有形资产和无形资产信息与当事人或协议相关的一系列事件BI.Insurance i.DWM for PC底层数据模型主题域说明：Agreement：保单、批单申请及管理；Claim：理赔Financial Transaction：应收应付、实收实付以及交易关联Party：当事方，包括当事方的组织结构、角色结构及类型Money Provision：资金管理Specification And Product：规范及产品管理Place：地点Code：标准代码Activity：活动管理Physical Object：实物、标的管理BI.Insurance i.DWM-AgreementBI.Insurance i.DWM-ClaimBI.Insurance i.DWM-Physical Object日程 |为什么需要模型模型的组织结构模型实施方法模型设计策略Q AEDW具体实施流程Mapping设计前端需求收集数据调查表级映射Mapping程序开发测试数据筛选字段映射数据加载数据质量分析代码整理提供需求及模版需求划分多维建模SA建模使用模型、产生报表客户提供需求实体、属性建模数据筛选：1.表一级筛选2.字段级筛选需求整理关联、属性建模数据筛选：1.模型的数据筛选2.ETL映射数据筛选数据分析模型映射数据建模ETL流程：步骤：设计文档：1.Mapping流程图2.数据元素Mapping文档需求文档：1.报表需求2.功能需求3. 非功能需求1.数据筛选清单2.数据源报告：3.数据质量分析报告4.代码清单Mapping文档： 源-模型对应关系1.逻辑模型2.物理模型3 逻辑物理数据元素对照表1.多维模型设计文档：维度指标派生指标2.需求-模型映射文档3.报表样张4.操作说明产出：A：数据源报告：1.主要功能2.历史数据情况3.与其它系统关系4.联系人A筛选：去掉ETL需要而模型不需要的字段1.目前的报表2.想做的报表3.想做的功能原则：B映射：1.映射到EM2.结合性能考虑3.结合实现考虑B：数据质量报告：1.数据类型2.值分布3.关联情况数据筛选：1.程序控制,计算,通讯,安全控制配置,日志2.汇总类结果一般不要3.可以由其它字段算出的字段一般不要4.从其它系统导入的数据不要.5.代码表不要。6.单纯的险种定义信息不要，但是具体保单中涉及的险种定义信息可以要。日程 |为什么需要模型模型的组织结构模型实施方法模型设计策略Q AHash code问题的提出: 进行增量加载时无法快速判断对表的原有记录是否新插入。例如：1. 理赔案件发生的时候,增量文件会把保单数据也传来 2. 保单增量过来,可能只是投保人的信息改了,