开发者使用文档和场景汇总.docx

开发者使用文档和场景汇总 系统名称数据平台用户指南 项目负责人DP in DP作者数据平台团队文档提交日期2014年4月10日 修改记录No修改后版本号修改内容简介修改日期修改人10.1 初始版本，使用Data.dp和现有的开发流程2014/4/10张翼2 0.2传输系统替换成galaxy.dp，其他部分做了补充和优化 2014/6/3张翼 3 0.3 新增后端日志入库流程 2014/7/4许景楠 1. 开发准备1.1 组账号申请1.2 熟悉开发环境3. 开发程序3.1 开发测试DOL3.2 开发测试MapReduce Job4. 程序上线过程4.1 程序发布BU开发人员：4.2 调度配置4.3 同步表结构4.4 预跑数据5. 数据传输5.1 数据导入（MySQL, SQLServer 到 Hive）5.1.1 新增传输5.1.2 表结构变更处理5.2 后端日志接入（后端日志 到 hive）5.2.1 日志打印数据平台对接入的后端日志有一些规范，具体详见后端日志规范。后端日志规范包括内容规范和格式规范，格式规范通过日志打印工具marin加以保证。 后端日志内容规范 后端日志格式规范 日志打印工具marin5.2.2 申请后端日志入库到hdfs5.2.3 测试环境下测试 建立线上组帐号目录和产品目录 生成ETL任务需要的配置文件并建表 测试ETL任务5.2.4 任务发布 配置文件发布 线下表同步到线上5.2.5 任务配调度 配置doCheck任务 ETL任务配置 任务预跑5.3 数据导出（Hive 到GP Report, GP Analysis）6. 附录6.1 DOL开发参考6.1.1 参考资料6.1.2 运行方式6.1.3 时间格式6.1.4 velocity中的字符串比较6.2 MapReduce开发参考6.2.1 参考资料6.2.2 新手指南6.2.3 进阶指南6.2.4 本地测试6.2.5 伪分布环境提交1. 开发准备1.1 组账号申请图1-1按图1-1点击用户组权限申请，进入组大众点评工作流平台帐号申请界面，按界面提示填写必要信息，提交之后在”我发起的流程”中查看流程状态。组帐号申请通过之后，您将收到如下邮件：图1-2如邮件遗失，您也可以通过以下操作获取密码：图1-3申请权限之前请先了解需要使用到的表，在申请界面中填写相关信息。如暂时不确定需要使用哪些数据，也可以后续申请。原则是后续开发中要使用到的数据必须先通过权限申请。开发环境建表权限请邮件至acladmin@进行单独申请。1.2 熟悉开发环境请先登录跳板。开发环境的IP为4, 使用组帐号登录开发机器：ssh ${线下组帐号名称}@4 -p58422进入组账号的HOME目录（cd），创建程序目录（如果已经创建，则次步可以省略），格式：${HOME}/${线上组帐号名称}[/${产品或项目名称}]，其中”产品或项目名称“为可选，各业务线按需创建, 在”产品或项目名称“目录下，用户放置程序或DOL注意：开发环境以Hadoop作为认证方式，每次登录拿到的ticket有效期为一天，如出现执行hive,hadoop失败，请重新登录！2. 典型用户场景数据导入：可选步骤；如果有需要的数据没有导入，可以使用Galaxy的传输工具配置导入作业（具体使用请参考5.1）查询主数据，两个目的：查询程序使用的数据是否都已经导入HIVE查询如何使用模型数据 （请点击链接访问新的主数据系统)开发程序：开发DOL或MapReduce作业，并在开发环境测试DOL或MapReduce程序（具体使用参考3）程序发布：程序发布到git（具体使用参考4.1）配置调度：在调度系统中配置程序，定时运行程序（具体使用参考4.2）同步表结构：从开发环境同步表结构，并在线上建表（具体使用参考4.3）预跑数据：可选步骤；两个目的：在线上验证作业正确性补历史数据(具体使用参考4.4)数据导出：可选步骤；将数据从Hive导入GP Report或是GP Analysis（具体使用参考5.2）3. 开发程序3.1 开发测试DOLDOL的命名规范：组账号.业务划分.表名.dol例：dwdev.dp.dpdim_dp_shop.dolDOL程序由Hive的配置和SQL组成，开发完DOL程序后需要将它放入对应的”产品或项目“目录中，之后可以使用以下命令在开发环境中进行测试：sun velocity -g [线上组账号名称] -p [产品或项目名称] -dol [DOL文件名] -d [时间参数]使用示例：sun velocity -g warehouse -p dol -dol dwdev.dp.dpdim_dp_shop.dol -d2