【99】数字化转型及数据中台建设.pdf

数字化转型及数据中台建设

2021.03

马里兰大学博士毕业后加加入Twitter，公司架在硅谷开始创业，回国创

入世界五百强企业IAC构委员会大数据负责建智领云，获得线性资本，

Corp，任A分布人。金沙江联合投资。

式系统及大数据工程总监。

2005年2008年2011年2013年2016年

开始基于Hadoop的大数据平台NewYorkStrata/HadoopWorld上

的建设;主讲介绍Twitter大数据平台。

负责建立及运行集团（包括投资硅谷多家大数据相关初创企业，提

A,D)的大供技术指导和行业顾问。

数据平台。

•从2008年起先后在硅谷三个公司（Ask,Twitter,EA）负责组建大数据平台

•在国内公司的产品BDOS已在医疗，政务，物联网，教育，金融，零售，能源多个行业落地

ATwitterEA

•使用Hadoop取代传统•使用大数据平台支持公司产•从无到有建立公司大数

Oracle-basedETL，节省数品推荐，用户推荐，广告等据处理平台

百万美元成本，将数据延迟支柱产品

从一天降到一个小时以内•实现反欺诈，游戏动态

•A/B测试，ETL，完全数据

定价，自适应游戏机制，

•使用Hadoop集群处理实时驱动的管理

实现千万美元级的额外

有哪些信誉好的足球投注网站数据，形成全球第一大

SearchAdsArbitrage用户•负责TwitterIPO之前大数营收

据审计的实施工作

•Twitter大数据集群：10K节点单Hadoop集群，100sofPBHDFS数据

•每天超过100K任务处理数十PB数据

•全公司数据驱动平台：

产品部门A/B测试，用户画像，产品推荐，产品质量控制

增长部门用户行为分析，留存分析

决策部门商业智能报告，高维度，实时数据分析

防欺诈部门行为审计，异常行为发现及报警

广告部门精准推送，实时统计报告

运维部门集群使用分析

•从80台机器的Hadoop集群

发展到8000台的完整生态。

•提供全公司的数据开发运维应用接口

平台。

•大数据平台组负责运营整个

大数据平台以及提供开发工

具：开发，发布，运维，治

理，审计。

•各个部门有独立的数据工程

师以及数据科学家团队。

•公司有CTO领导的架构师委

员会负责协调部门之间的数

据标准和需求。