网站大量收购闲置独家精品文档,联系QQ:2885784924

基于混搭存储引擎的融合型分布式数据库架构.pptx

基于混搭存储引擎的融合型分布式数据库架构.pptx

  1. 1、本文档共37页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
基于混搭存储引擎的融合型分布式数据库架构——服务型分布式计算和混搭型分布式数据存储助力大数据时代的数据宝藏挖掘1分布式的3W问题23服务型分布式计算基于混搭存储引擎的融合型分布式数据库4大数据与分布式计算/分布式数据库经典商业应用场景的困境(一) OLTPOLTP(1+1=?)(1+1=?) 业务、数据大集中 简单任务高并发 响应时间敏感 永远的痛:关系型数据库经典对策 小型机 数据库集群 业务拆分迫切需求破除单点故障提升性能提升业务和数据规模经典商业应用场景的困境(二) OLTP会话型应用 业务大集中、数据大 集中 会话数据需长期保存 灵活的数据形式 增删改查 强调RASP,响应时间 敏感 关系型数据库是永远 多机处理业务 CDN 多样性数据存储 迫切需求 丰富的会话语义 丰富的数据存储形式 弹性的业务、数据规模(1+1=?) 灵活的通讯模式?????简单任 数据是瓶颈,复杂业务功能瓶颈务,高并发的痛 经典对策经典商业应用场景的困境(三) OLTP分布式计算、大数据 繁重单任务 集中 切分功能瓶颈、数据处理瓶颈 简单任务,高并发 增删改查 强调RASP,响应时间 敏感 关系型数据库是永远 多机计算 多样性数据的多机存储 Hadoop、Spark、Storm 迫切需求 丰富的分布式语义 大容量并行执行 混杂海量数据的丰富检索分析 语义、性能、伸缩性并行/(1+1=?)业务大 叠加高并发雪上加霜集中、数据大?????的痛 经典对策困境中的答案 分布式 计算?提升计算节点个数?同一类任务由超过一个CPU完成?摩尔定律“回归” 弹高 性性 可能 伸 缩高可用高可靠通过scale out解脱单一计算节点上无法从硬件无限突破的两大性能瓶颈:CPU和磁盘分布式 存储?提升存储节点个数?维持单位存储管理成本再说什么是分布式 分布式不是一种新技术 应用框架,设计模式 衍生的支撑技术 路由、负载均衡、任务调度、并行计算、 资源竞争、线程间/进程间/网络通讯, 衍生的设计需求 RASP安排尽可能多的人共同执行一个任务 路由:谁能干 负载均衡:谁比较闲如何分配工作?领导分配人人自主分配只要有备份,就有数据不一致分布式的直观分类个体任务的步骤并行流水线提升吞吐量两者并用分布式 恐怖的“时间窗口”“时间窗口”发生的各种错误的自动 识别、修复和遗留问题的清理理想的分布式应用架构长什么样? 用工作流的形式来将步骤解耦并分布式多任务串行?多任务并行提高请求/任务吞吐量、保持响应时间单任务串行?单任务并行降低响应时间2314 理想的分布式应用设计方法论 应用角度主导的“分而治之”分布式的粒度:子系统,模块(函数、对象)性能与管理成本的权衡决定粒度应用把控理想的分布式计算框架/平台该做什么? “最高深的技术是那些令人无法察觉的技术,这些技术不停地把他们自己编织进日常生活,直到你无从发现为止”——Mark Weiser开发态运行时?????编程范式和API支撑“分”:保持原状,任何粒度,任何层次整合“治”:步骤连接的多样性最少的知识投资通用、底层、简单、轻量?????强大的运行容器,应用透明“分”:任何粒度,规模无限“治”:步骤连接任意顺序、任意整合多线程/进程/机器透明并发必杀技:强大的RASP分布式应用?杜绝“分布式”设计框架 应用决定如何“分”和“治”框架平台1分布式的3W问题23服务型分布式计算基于混搭存储引擎的融合型分布式数据库4大数据与分布式计算/分布式数据库服务型分布式计算——分布式遇上SOA 服务自上而下、自内而外的全SOA 分布式从未如此简单不改变业务流程和编程模型单机单用户思路设计分布式应用 分布式执行策略服务虚拟化,计算资源虚拟化 服务化的开发方式分布式的步骤?服务任何粒度的封装服务组装便捷对内对外服务统一服务型分布式计算的核心功能 数据/通讯协议全透明Binary、JSON、XML、RAWBinary、HTTP、RTSP/RTP应用透明,动态修改C/S一键移动互联网 灵活强大的编程模型全异步编程模型灵活的服务、通讯、内存语义托翁法则 核心架构分布式虚拟机背板+刀片的架构 基本内功RASP:分布式系统居家必备灵活、准确的路由精准的负载均衡说说Map-Reduce 不是分布式计算、大数据领域的万金油,也不是阿司匹林! 伟大的创新复杂任务并行的好方案通用、成熟、“廉价”的大数据方案唾手可得的“免费”方案不解决基础问题,非通用方案应用于各种场景是错误低门槛带来的各种坑生态圈整合成本高开源的不断重构和发明Map-Reduce为何物Hadoop、Spark、Storm:Map-Reduce的重要代言人分布式计算框架/平台Google发明、Hadoop落地、Storm/Spark升华并行编程框架,写分布式应用的“银弹”合适的时间出现在合适的地方分布式计算

文档评论(0)

2232文档 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档