数字化转型及数据中台建设.ppt

数字化转型及数据中台建设2021.03马里兰大学博士毕业后加入世界五百强企业IACCorp，任A分布式系统及大数据工程总监。开始基于Hadoop的大数据平台的建设;负责建立及运行集团（包括A,D)的大数据平台。加入Twitter，公司架构委员会大数据负责人。NewYorkStrata/HadoopWorld上主讲介绍Twitter大数据平台。投资硅谷多家大数据相关初创企业，提供技术指导和行业顾问。2005年2008年2011年自我介绍2013年2016年在硅谷开始创业，回国创建智领云，获得线性资本，金沙江联合投资。团队行业背景从2008年起先后在硅谷三个公司（Ask,Twitter,EA）负责组建大数据平台在国内公司的产品BDOS已在医疗，政务，物联网，教育，金融，零售，能源多个行业落地使用Hadoop取代传统Oracle-basedETL，节省数百万美元成本，将数据延迟从一天降到一个小时以内使用Hadoop集群处理实时有哪些信誉好的足球投注网站数据，形成全球第一大SearchAdsArbitrage用户使用大数据平台支持公司产品推荐，用户推荐，广告等支柱产品A/B测试，ETL，完全数据驱动的管理负责TwitterIPO之前大数据审计的实施工作从无到有建立公司大数据处理平台实现反欺诈，游戏动态定价，自适应游戏机制，实现千万美元级的额外营收ATwitterEATwitter大数据集群：10K节点单Hadoop集群，100sofPBHDFS数据每天超过100K任务处理数十PB数据全公司数据驱动平台：A/B?测试，用户画像，产品推荐，产品质量控制用户行为分析，留存分析商业智能报告，高维度，实时数据分析行为审计，异常行为发现及报警精准推送，实时统计报告集群使用分析产品部门增长部门决策部门防欺诈部门广告部门运维部门Twitter的数字化运营硅谷典型的大数据平台架构-Twitter内部数据共享接口应用接口从80台机器的Hadoop集群发展到8000台的完整生态。提供全公司的数据开发运维平台。大数据平台组负责运营整个大数据平台以及提供开发工具：开发，发布，运维，治理，审计。各个部门有独立的数据工程师以及数据科学家团队。公司有CTO领导的架构师委员会负责协调部门之间的数据标准和需求。实体经济成为产业互联网的主角连接是核心，连接人与“信息”，“人”、商品”、“服务”核心赢者通吃：百度、腾讯、阿里巴巴、京东、滴滴、美团、携程等成功企业纷纷崛起结果赋能实体经济是核心，不是“互联网+”,而是“+互联网”普惠创新：应用科技与资本的力量帮助实体经济转型升级，实现更长期的社会价值消费互联网产业互联网根本问题为什么要建设IT系统数字化转型的四大价值诉求竞争优势一般与行业相关，因此数字化进程一般按行业来说有个发生先后的顺序。商业目的如何赚钱如何取得优势赚钱比竞争对手提供多快好省的产品（特别是网络时代，很多产业形成赢家通吃的局面，所以更需要比竞争对手先行一步）如何比竞争对手提供多快好省的产品，取得竞争优势快速响应市场-更快地更深入地了解市场的需求精准服务用户-提供个性化符合用户最优体验的产品降本-以更低的成本生产，更大范围的试错增效-比对手更快地生产高质量的产品数字化IT系统建设历程信息化系统OLTP阶段主要目的功能把每笔交易以数字化形式存储起来业务的历史快照，总结性数据，高维分析个性化数据，多样性数据，海量/实时数据处理全局的数仓，大数据能力协调共享OLAP个性化数据多样化数据全局数据驱动数据能力共享和复用数据仓库传统大数据平台数据中台问题？存交易结果，不存过程，不存活动细节局限预定主题，只处理结构化数据，效率低重复开发，标准不一，数据应用孤岛？现有数据平台的问题30年前的数仓架构示意图典型大数据平台架构各个部门数据重复开发，浪费存储与计算资源数据标准不统一，数据使用成本高业务数据孤岛问题严重，数据利用效率低数据驱动的IT架构IT系统建设实际上是个不断完善对业务的数字化还原和数据驱动能力的历程。全局的数据驱动需要对业务还原程度的提高和完善的数据平台支撑。从大数据平台到数据中台的挑战从T+1到T+0：从一个简单的数据处理和报表生成系统（一般都是定时运行，而且以日报的形式居多，因此叫做T+1），到能够支持大量的实时的数据驱动的产品（T+0）从独立的烟囱到协作的系统：从各个部门独立建设到全局统筹，独立发展，协同演进从包办的系统到自助的系统：从IT部门大包大揽