【公司通用】转正述职报告.pptx

转正述职报告 姓名： 陈涛 部门/职位： 云平台/研发工程师 入职时间： 2016/4/7 指导人： 韦邦灯 目录 岗位工作概述与个人理解 试用期工作成果汇报 岗位工作概述与个人理解 岗位工作概述与个人理解 岗位工作概述与个人理解 DMP平台建设 目标 1） 好用的原始数据 2） 完善的标签体系 3） 多维的数据分析 职位要求 1） 丰富的大数据开发经验 2） 宽广的知识面 3） 具有较强的分析和解决问题的能力 试用期工作成果汇报 10% 10% 70% 10% 试用期工作成果汇报 – 数据建设 推动Hive使用 使用简单，类SQL 元数据管理，查询使用数据方便 开发量小，内置UDF能够满足常规需求 ORCFile列式存储，提高查询效率 试用期工作成果汇报– 数据规范建设 推动了数据规范建设 01.复杂的Union数据结构，不适合做数据提取、分析和挖掘。 02.目前数据中存在格式很多格式不规范的情况，如mac地址存在各种形式 03. 发现etl后数据丢失现象，如找不到dvc就不落地，影响pv统计 减少复杂数据结构 发现脏数据 数据丢失问题 试用期工作成果汇报– ID Mapping 项目背景 移动端设备ID多而杂 云平台没有统一的ID体系 did | uid 体系不完善 什么是ID Mapping? ID Mapping是用来关联ID信息，类似广告的cookie mapping，将不同来源的数据能够做关联 试用期工作成果汇报– ID Mapping 2 4 3 1 不同数据源数据可关联，对后期挖掘有重要作用 UV计算更加精准 将一个人的设备信息关联起来 新的设备引入后，用户信息不丢失 ID Mapping作用？ 试用期工作成果汇报– ID Mapping 难点？ ID存在大量格式不合法问题，如何处理？ ID对存在一对多，多对多的问题，如何处理？ ID的关联存在传递关系，如A-B-C-D，如何将几种ID关联到一起？ 用户需要针对每种ID做查询，如何提供高效的索引机制？ 数据最终以什么方式提供出来，能够得到简单、方面的用户体验？ 试用期工作成果汇报– ID Mapping 项目目标 提供online服务，用户可获得单条毫秒级的响应 离线数据 全量数据，支持后台数据挖掘和分析使用 在线服务 试用期工作成果汇报– ID Mapping 可行性分析 产品名 数据名称 输入法query IMEAppDataClean 输入法app IMEQueryDataClean 拼音云 PyyunDataClean 语音云 VCOAMDataClean 广告 ADDataClean Sdk设备 SDKDataClean 移动互联 MiDataClean   Imei Uid Did Mac Idfa Openudid imsi imei   Py Sdk,vcd,up,mi Sdk,vcd,up   Vcd,up Sdk,vcd,up Uid Py             Did Sdk,vcd,up,mi     Sdk,ad,vcd,up Ad Ad,vcd,up Sdk,vcd,up mac Sdk,vcd,up   Sdk,ad,vcd,up   Ad,up Ad,vcd,up Sdk,vcd,up Idfa     Ad Ad,up   Ad,up up Openudid Vcd,up   Ad,vcd,up Ad,vcd,up Ad,up   up imsi Sdk,vcd,up   Sdk,vcd,up Sdk,vcd,up Up up   打通率 Imei Uid Did Mac Idfa Openudid imsi imei 1280279446 750074 1414569706 712991 2266453650 Uid   646734           Did     2382418869 1083367226 68286964418701 mac      73285722051878 Idfa         535770 183672 66 Openudid          763217 imsi            打通率 Imei Uid Did Mac Idfa Openudid imsi imei   115% 60% 2.5% 0 30% 72% Uid 0%   0 0 0 0 0 Did 110% 0   380% 127% 111% 70% mac 0 0 45%   136% 48% 23% Idfa 0 0