- 1、本文档共18页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
archsummit北京2015-《让数据川流不息——阿里云数据传输服务揭秘》-程实(时勤)
让数据串流不息
阿里数据传输服务揭秘
程实(时勤) @ 阿里巴巴
2015-12-19
DT时代——利用数据
• 生产数据不再是难题
• 利用数据产生价值,才是关键
• 实时分析(实时商业决策、有哪些信誉好的足球投注网站、安全审计)
• 典型案例:数据从DB实时同步到Storm,要求低延时
• 离线分析 (大数据分析)
• 典型案例:数据从DB周期性导入到Hadoop,要求高吞吐率
• 异地容灾,异地读写
• 典型案例:云数据库多地容灾,本地读写
• 传统数据服务架构,对于利用数据并不友好
DT时代——增量数据服务化
• 业界已有的一些方案
• 统一的OLTP和OLAP
• Databases on Hadoop
• SAP Hana
• 分布式DB:异地问题
• 迁移工具
• 业务同时写入到多个DB/平台
• 增量数据必须服务化
• 降低DB查询压力
• 降低业务方开发难度和耦合性
• 多种DB统一服务
• 多种下游统一服务
• 支持异地多活架构
DT时代——阿里内部案例
• 淘宝核心交易库
• 双十一数据量
• 全天同步总量:百TB级别(全网6倍)
• 高峰增量流量:Gbps级别
• 增量消费的下游
• 5个实时下游业务
• 实时媒体大屏
• 实时商业分析
• 实时有哪些信誉好的足球投注网站
• 实时备份
• 1个离线分析平台
• 含多个子任务
• 2个异地实时备份链路 (异地多活)
• 上海到杭州
• 上海到深圳
DRC和DTS
• DRC——增量同步基础设施
• 增量抓取和存储
• 增量同步和订阅
• DRC在阿里广泛使用
• DTS——云上传输数据服务
• 上云数据迁移
• 云内外混合部署
• 跨地域部署
• 订阅服务
DRC模块构成
• 模块构成
• Reader:抓取日志
• Queue:存储
• Client:订阅SDK
• Writer:同步到DB
• CM:集群管理
• RM:自动化接入
• Console:运维控制台
• DaBai:全链路监控大屏
DRC抓取日志(Reader )
• 不同类型DB采用不同Reader设计
• MySQL(5.1+):基于mysqld主备同步机制
• Oracle:解析AchieveLog (非实时)和RedoLog (实时)
• OceanBase:提供日志服务
• Hbase:解析HLog
DRC的队列存储(Queue )
• DRC Queue队列存储
• 高性能
• 实时读写28万rps,读历史90万rps
• 支持1K连接并发读
• 压缩持久化
• 压缩率30%
• 缓存和预读
• 位点/时间索引
• 快速定位起始位置
• 自定义(库表名)索引
• 大幅降低过滤开销
• 主备模式
• 增加备节点的额外开销低于25%
• 分布式容灾
DRC同步增量(Writer )
• Writer组件
• 高性能
您可能关注的文档
- 2016年公务员考试法律专业知识-法理学.宪法学.2017年行政诉讼法.刑法.2018年刑事诉讼法.民法.民事诉讼法讲义2019年2020年.pdf
- 2016年基础理论精讲班讲义(一)—民法—孟献贵.pdf
- 2016年幼儿教师资格考试串讲资料2017年保教知识与能力笔记2018年教师资格小抄讲义资料2019年.pdf
- 2016年幼儿教师资格考试讲义小抄2017年综合素质笔记2018年教师资格串讲资料2019年.pdf
- 2016上海国际奢侈品包装展展会申请表.pdf
- 2016刑法复习计划(详版).pdf
- 30094文献检索方法新技巧汇集.pdf
- 070312基于报酬合约的经理人羊群行为研究.pdf
- 071021_新药注册申报服务指南.pdf
- 223154_12s109 迭压(无负压)供水设备选用与安装.pdf
文档评论(0)