【精品】大数据云的数据交换共享平台的架构探索.docx

星环科技

大数据云的数据交换共享平台架构探索

星环信息科技（上海）有限公司李光跃

guangyue.li@transwarp.io

近十年数据分析技术的发展历程

星

星

环科技

首个基于容器云的大数据平台TDH5.0inceptcr替换Teradata数仓SQn

首个基于容器云的大数据平台TDH5.0

inceptcr替换Teradata数仓

SQnHadop数据仓库涌现

Hadoop项目诞生

spark被认可为下 代计算框架

spark被认可为下 代计算框架

yahoc启用首个基于Hadoop的数仓

星环发布大数据云平台TDC1

星环发布大数据云平台TDC1.0

penstack兴起开源云涌现

AWS商用标志着云计算诞生

Mesos和Dockerswarm之争

商用私有云系统开始出现kuberne

商用私有云系统开始出现

kubernetes成为原生云的事实技术标准

kubernetes兴起

原生云技术开始被广泛采用

新一代的大数据技术软件栈

星

星

环科技

机器学习建模数据装载与加工数据资产管理可视化报表

机器学习建模

数据装载与加工

数据资产管理

可视化报表

统计挖掘开发

运维与监控

离线批处理交互式分析

离线批处理交互式分析联机数据库机器学习深度学习图分析引擎流处理引擎

高性能处理框架Spark

分布式大表有哪些信誉好的足球投注网站引擎

HBaseElasticSearch

短时任务资源管理框架资源隔离／调度／管理框架

YARNKubernetes

低延时流处理框架向量处理框架

FlinkTensorFlow

分布式协作服务Zookeeper

分布式文件系统HDFS

批处理框架MapReduce

分布式缓存Redis

消息队列Kafka

大数据行业发展的概况

星

星

环科技

BigData3.0

Adm

Admin

BigData2.0

BigData1.0

Development

星环科技

大数据云化是下一阶段技术发展的趋势

云的特性

星

星

环科技

u按需使用

u云用户有自助使用IT资源的自由

u用户对资源或服务可以自助配置并自动化使用

u广泛接入

u云服务被广泛访问的能力

u支持多种设备、协议、接口和安全技术

u多租户和资源管理

u一个软件程序的实例支持多个用户或租户

u租户隔离

u资源池化u弹性

u根据需求自动透明的扩展IT资源

u降低投资成本和时间成本

u用量可度量

u平台精确记录资源的使用情况

u对用户的实际使用或被授予IT资源的时间段来计费

u可恢复性

u通过冗余给用户提供故障恢复能力

u服务本身高可用和自愈设计

数据孤岛问题

星

星

环科技

u不同团队各自建设，各个应用内数据没有打通

u想要数据的人找不到合适的数据

u提供数据的人不知道如何输出

u分析数据的人不知道数据的质量如何

u有价值的数据不能够沉淀

u同一份数据在多个业务系统内保存，并且存在不一致问题

u早期淘宝的商品表存在于20多个业务系统内，并且都不一致，只能人工校验和甄别

u不同的业务的加工和处理方式不一致，无法从上层统一，只能依赖DBA的繁重的手工校对

u无法做数据管控和质量提升，缺少统一的数据标准

u数据管理是一个管理问题，同时也需要有个可操作的技术方案

u不同的技术定义、缺乏数据管理流程、没有可靠的数据管理工具

u依赖人与人之间的沟通来做数据沟通，出现数据问题后无法有效追溯并修正

烟囱开发问题

星

星

环科技

u不同团队独立建设、独立开发

u时间：建设周期长，初次获取成本高

u人才：各个团队技术架构不同，需要多个技术团队建设，总投入成本高，建设时间长

u互通：不同的开发模式，各个应用和服务之间无法打通

u管理：研发管理的梦魇，内部五花八门无法形成统一的研发管控和质量提升

u成本：每种开发模式都涉及到各自的安全、运维、升级、部署等通用功能的重复开发和投入

u行业趋势

u厚平台、薄应用

u单体应用-SOA服务-微服务体系

技术门槛问题

星

星

环科技

u大数据和AI很昂贵

u