经分项目组内部培训_架构支撑汇编.pptx

系统架构 数据管理流程分为三个阶段：数据抽取（ETL）、数据仓库管理、应用数据服务呈现。数据仓库的数据库设计架构分为3个层次，即基础中间层、应用中间层和应用集市层。 基础中间层设计 基础中间层是基于源系统数据的轻度汇总或者简单逻辑转换后，按照一定周期存储在数据库，且作为上层应用唯一数据来源而存在的表 特点：共用、唯一、稳定、粒度较小，实现一次抽取多处使用 例：1、语音清单基础中间层 dm_cdr_voice_mon_01/02 关键字段：用户标识、品牌、地域、呼叫类型、通话时长、通话次数、实收费用等； 2、用户属性基础中间层 dm_per_inf_attribute_mon_01/02 关键字段 ：用户标识、品牌、年龄、客户标识、身份证号、产品、VIP标识、消费费用等; 基础业务中间层 经分底层（ODS） ETL 语音清单基础中间层 用户属性基础中间层 产品订购基础中间层 账户基础中间层 账单基础中间层 …… 轻度汇总或者简单逻辑处理 应用中间层 应用中间层是对基础中间层的数据集成，它可以根据应用模型进行设计，也可以根据特殊用户、客户而创建。对于同一业务对象或者用户群，理论上来说只能设计一个应用中间层，保证口径的唯一性，所以在模型设计时需要充分考虑应用的可扩展性 特点：共用、集成、稳定、粒度较大 例：集团客户综合分析应用中间层MD_GRP_APP_CUST_EXPD_MON_01/02 （横表） 个人用户基本情况应用中间层MD_APP_USER_MON_01/02（视图） 用户捆绑属性应用中间层MD_APP_USER_BIND_MON_01/02（纵表） 应用集市层 简单的说，应用集市层就是报表展现的数据源，是对基础中间层或者应用中间层数据的汇总。它由维和指标组成。一个应用集市可以作为一个或多个应用的数据源而存在 特点：灵活、粒度大 例：宽带用户离网情况分析 用户话务分析 拍照集团客户保有分析 等 应用中间层 基础中间层 即席查询 数据挖掘 精确营销 监控预警 统计报表 专题分析 应用分析 数据分析设计思路 开发需求 应用集市层是否满足 新建/改造应用集市 应用中间层是否满足 基础中间层是否满足 新建/改造应用中间层 新建/改造基础中间层 数据呈现 是否需要新建/改造应用中间层 否 否 否 是 是 是 否 是 表对象命名 字段命名 其他对象命名 存储过程-框架结构 命名：sp_表名或可以表达程序含义的名； 中间层过程命名：SP_MD__数据周期 应用层过程命名：SP_MKT__数据周期 数据周期：日：DAY；月：MON 临时过程：SP __数据周期_TMP 过程名 rtn_code out number, --必选参数 返回码（0：成功；非0：异常） rtn_info out varchar2, --必选参数 返回信息（异常为ORACE的错误信息） in_stat_date in number, --必选参数 数据数据统计日期（格式YYYYMMDD) 其他可选参数 ：如，in_user_part，in_area_id 等 输入输出 目标表:目标表(物理表名) 源表: 源表名(物理表名) 程序描述：程序描述 增加程序功能性描述 版本号 初版开发时间 初版开发者 修改记录：YYYYMMDD by 更新人员名 修改说明 程序注释 常量 const_* 变量 v_* 游标 cur_* 参数注释 ：要求每个参数都要详细说明用途 参数定义 存储过程-框架结构 日期校验 fun_check_date 进程状态校验 sp_get_process_info_step 进程控制表：md_process_step_control 进程状态修改sp_set_process_info_step 进程控制 处理步骤描述 清分区 alter table XXX truncate partition XXX 处理脚本初始化 v_sql := ‘**************’ 执行提交 execute immediate v_sq; commit; 脚本美化要求：使用pl/sql美化器美化脚本 程序主体 表分析执行语句 anlayze table XXX 【partition XX】 estimate statistics sample ‘x’ percent 表分析函数 dbms_statics.gather_table_static 目标分析（可选） 输出参数：rtn_code ：= -1 输出信息：rtn_info ：= 过程名 || ‘执行异常’|| s