数据仓库发规范.docx

数据仓库设计与开发规范概述数据仓库设计规范命名规范数据仓库库表的命名规范命名规范RAW表：RAW+源表名称中间表：MID+源表名称如果表名字符长度超过32位，则在源表名称中英文字母缩写替换英文单词表字段命名规范命名规范数据库字段的命名必须遵循以下规范：采用有意义的字段名。字段的名称必须是易于理解，能表达字段功能的英文单词或缩写英文单词，无论是完整英文单词还是缩写英文单词，单词首字母必须大写。系统中属于是业务范围内的编号的字段，其代表一定的业务信息，这样的字段建议命名为：代表当前这字段含意的英文单词 + “ID”尽量遵守第三范式的标准（3NF）。表内的每一个值只能被表达一次表内的每一行都应当被唯一的标示表内不应该存储依赖于其他键的非键信息存储过程命名规范命名规范存贮过程的命名请遵循以下命名规范：P_ MID_+ 业务逻辑（英文单词或缩写）如：P_MID_PUB_TRADE_BUY设计规范在存贮过程中必须说明以下内容：名称：存贮过程。描述：描述存储过程的作用创建者：首次创建此存贮过程的人的姓名。在此请使用中文全名，不允许使用英文简称。修改者、修改日期、修改原因：如果有人对此存贮过程进行了修改，则必须在此存贮过程的前面加注修改者姓名、修改日期及修改原因。对存贮过程各参数及变量的中文注解。示例如下：-- =============================================-- procedurename: P_MID_PUB_TRADE_BUY-- description : 公募交易表-- author : 张三-- create date : 2015-07-17--source_table : raw_tp_dis_trade_app_rec--target_table : MID_PUB_TRADE_BUY--modified：修改日期：2015-07-20 修改原因及内容-- =============================================视图命名规范命名规范视图的命名请遵循以下命名规范：V_ +_操作的表名（不带前缀）或功能的英文单词或英文单词缩写。如：V_ac_cust_info版本管理规范数据仓库开发规范Kettle规范1 Trans命名规范trans名称：以存储过程名称名称Example:SP_ETL_MID_BANKCARD_VRFY_OK2 Job命名规范粒度最细的jobJob注释Job名称：项目名称+功能 Example:GMTJ_BANKCARD_FIRST_INFO主JobJob名称：项目名称+功能+MAINExample:GMTJ_DAILY_KAIHU_MAIN注意：TRANS和JOB的命名英文字母统一大写3 kettle资源库目录规范Job存储位置：/ETL_REPOS/JOB/数据库层级（mid/raw)/具体JOBtrans存储位置：/ETL_REPOS/TRANS/数据库层级(mid/raw)/具体TRANS4 192.168.220.220 kettle（非kettle集群）监控与日志DB中2张表：META_JOB_LOGMETA_TRANS_LOG日志 在运行job时 /data/app/datax-etl/etl-repos/log/xxx.log 21 可以记录错误邮件：配置邮件，发给负责人可以监控job。元数据管理规范所有在本地导出的xml文件需上传到SVN目录中XML文件命名规范：项目名称.xmlExample:GMTJ.XML目录：svn://192.168.220.100/usr/local/subversion-1.4.4/repos/CRM/trunk/bi/etl-repos5 ETL开发流程针对公募统计日报为例测试环境（本地）TRANS：目前标注部分功能技术实现还在研究中。JOB：