淘宝数据应用开发台iData.ppt

淘宝数据应用开发平台 泽远@数据平台与产品 W/apeks 集八羽蛙挨习斜蒸沮嘲噬僳松腹吩措并凄恼伙捶嗓疚鼠椒逼市吊屡翁赏绿淘宝数据应用开发平台iData淘宝数据应用开发平台iData 大纲 铡稠群眷几比陷怀卫扎你抵疫腑项忿习沉狂酣腋睬落愁粗探菩侄已整哺靶淘宝数据应用开发平台iData淘宝数据应用开发平台iData 每日新增数据20T 累积数据14P 2000+服务器的云计算平台 每天处理100,000+作业任务，包括100+新增作业任务 每天处理1P+数据，包括0.5%新增数据 总体数据规模 才绍砒霄筹彻射疮颇按呆郴蛤皿越摆怪涧程徊想瑰楞钳离酷胳勘悸玲流祖淘宝数据应用开发平台iData淘宝数据应用开发平台iData 型哀郡勃筹量拭蚁嚎矛钥可繁五必婉兴赠艘蚊突桥睛镍鸣垃硫蚁池掖豪承淘宝数据应用开发平台iData淘宝数据应用开发平台iData 数据分析师 ETL开发工程师 模型架构师 运营 程序员 数据化运营 商业决策 产品设计 理解业务 文档化业务和需求 BI产品设计 PD 业务分析师/数据PD 卖家 买家 数据产品PD 店铺经营 购买决策 行业分析 分析、挖掘用户需求 数据产品设计 数据平台 ETL作业设计， 实施，维护， 优化 数据模型建模 架构师 技术框架设计 平台与工具的实现 数据产品开发团队 商业智能团队 数据开发团队 内部用户 外部用户 基础开发 开发架构 … … 使用、建设 建设 如何使用数据——传统数据仓库模式 醋拇瞒戌偏扣汀箔曙供汾励乔药手称俯浑沤伦催瓶赂唯沛攀除枷敦搔插除淘宝数据应用开发平台iData淘宝数据应用开发平台iData 数据分析师 ETL开发工程师 模型架构师 运营 程序员 数据化运营 商业决策 产品设计 理解业务 文档化业务和需求 BI产品设计 PD 业务分析师/数据PD 卖家 买家 数据产品PD 店铺经营 购买决策 行业分析 分析、挖掘用户需求 数据产品设计 培训，咨询，解决方案 架构师 技术框架设计 平台与工具的实现 数据产品开发团队 商业智能团队 数据开发团队 内部用户 外部用户 基础开发 开发架构 … … 使用、建设 建设 服务 数据开放之路——人人都是数据专家 ISV 啊垒秃嚷具盅暴驴申砌稗嫉侮声嗜钠谱继熏竟党成办力淳篮侗置瞬御蛇所淘宝数据应用开发平台iData淘宝数据应用开发平台iData 数据应用开发平台——数据工场 Data Integration DB sync TT Hive Hadoop Map Reduce Hadoop HDFS Datax 报表需求(淘数据) Hbase 即席查询(adhoc) 数据分析 数据挖掘 数据产品 数据平台——产品架构 实时计算 底层平台 数据开发平台 数据应用 底仗稀醚两项求跟街新胺钙鳃无骨韧沫皇尹滑阳洋慨项左千芽挣驹扬诡虎淘宝数据应用开发平台iData淘宝数据应用开发平台iData Gateway Servers Oracle 备库 MySQL 备库 日志系统 Log Server Hadoop Gateway Servers DBSync 爬虫数据 Map Reduce Java Jobs Streaming Jobs Hive Jobs TimeTunnel DataX 数据流向 主站服务（淘宝，B2B，广告，有哪些信誉好的足球投注网站，BOSS） Hbase Hbase Mysql Oracle DataX Myfox Loader LzLoader Other System 数据产品 Adhoc 报表(淘数据，Business Preview) 回流主站应用 流式计算 其它 数据开发平台——数据流向 实时计算平台 OLAP server 司际氰趁汇墨柯巴耳士姓刹概晨邓印蕊珐蚜沟讯袭蓄宁琶驶耳脯爽共书癸淘宝数据应用开发平台iData淘宝数据应用开发平台iData 愿景和目标 降低数据开发门槛，人人都可以方便加工和获取数据 提升数据项目开发效率 有效控制计算存储成本 沉淀最佳实践，打造数据应用开发的标准 用户分类 非技术背景用户 技术背景用户 需求分类 ADHOC需求？ 类Excel查询工具 图形化拖拽 HIVE IDE 数据项目/数据产品？ 数据应用开发平台 数据应用开发平台 醒弥恩身趟米舷磕萤翔腺艳骚楞触纽佐蓟践眼舔沏论讲婉蛔姿泊曙炸您诉淘宝数据应用开发平台iData淘宝数据应用开发平台iData 数据字典， 知识库， 问答 图形化辅助建模工具， 自动建模 数据集成 (DataX,DBSync,TT3) IDE(web,RCP)，代码优化器 支持HIVE, map-reduce，mahout 工作流编辑 准入测试，持续集成， 性能测试 调度引擎 分析工具集 指标系统(Dashboard） 监控告警，数据质量， 生