- 1、本文档共20页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
数据库大数据访问的解决方法课件
数据库大数据访问的解决方法 负载均衡技术 大数据 Big Data 大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 4V特点: Volume(大量) Velocity(高速) Variety(多样) Value(价值) 数据挖掘 云计算 指从大量的数据中通过算法有哪些信誉好的足球投注网站隐藏于其中信息的过程。是数据库知识发现(Knowledge-Discovery in Databases,简称:KDD)中的一个步骤。 有代表性的数据挖掘任务包括关联规则分析、数据分类、数据聚类等。 数据挖掘只是大数据处理的一个方法。 云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 从技术上看,大数据与云计算的关系密不可分。大数据的特色在于对海量数据的挖掘,必然无法用单台的计算机进行处理,必须采用分布式计算架构,必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。 广义大数据 海量数据,处理数据的技术,以及能够通过分析这些数据 获得实用意义和观点的人才和组织。 随着互联网应用的广泛普及,海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用,每天百万级甚至上亿的页面浏览量无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。那么数据库如何处理海量数据呢? 编写优良的程序代码 使用采样数据,进行数据挖掘 建立广泛的索引 分批处理 加大虚拟内存 对海量数据进行分区操作 例如针对按年份存取的数据,我们可以按年进行分区。不同的数据库有不同的分区方式,不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下,而不同的文件组存于不同的磁盘分区下,这样将数据分散开,减小磁盘I/O,减小了系统负荷,而且还可以将日志,索引等放于不同的分区下。 使用数据仓库和多维数据库存储 联机分析处理(OLAP)是共享多维信息的、针对特定问题的联机数据访问和分析的快速软件技术。处理海量数据的利器是OLAP多维分析,即建立数据仓库,建立多维数据集,基于多维数据集进行报表展现和数据挖掘等。 负载均衡技术 负载均衡集群是由一组相互独立的计算机系统构成,通过常规网络或专用网络进行连接,由路由器衔接在一起,各节点相互协作、共同负载、均衡压力,对客户端来说,整个群集可以视为一台具有超高性能的独立服务器。 实现原理 实现数据库的负载均衡技术,首先要有一个可以控制连接数据库的控制端。它截断了数据库和程序的直接连接,将所有的程序来访问这个中间层,然后再由中间层来访问数据库。这样,我们就可以具体控制访问某个数据库了,也可以根据数据库的当前负载采取有效的均衡策略,来调整每次连接到哪个数据库。 负载均衡技术 对于负载均衡,要求所有服务器的数据都是实时同步的,也只有这样,在查询的时候才可以多个资源之间实现均衡。 比较常用的方法是Moebius for SQL Server集群,它采用将核心程序驻留在每个机器的数据库中的办法,这个核心程序称为Moebius中间件,主要作用是监测数据库内数据的变化,并将变化的数据同步到其他数据库中。数据同步完成后客户端才会得到响应,同步过程是并发完成的,所以同步到多个数据库和同步到一个数据库的时间基本相等;另外同步的过程是在事务的环境下完成的,保证了多份数据在任何时刻数据的一致性。Moebius中间件不但能知道数据的变化,而且知道引起数据变化的SQL语句,根据SQL语句的类型,智能的采取不同的数据同步的策略,以保证数据同步成本的最小化。 负载均衡技术 数据条数很少,数据内容也不大,则直接同步数据 数据条数很少,但是里面包含大数据类型,比如文本,二进制数据等,则先对数据进行压缩然后再同步,从而减少网络带宽的占用和传输所用的时间。 数据条数很多,此时中间件会拿到造成数据变化的SQL语句,然后对SQL语句进行解析,分析其执行计划和执行成本,并选择是同步数据还是同步SQL语句到其他的数据库中。此种情况在对表结构进行调整或者批量更改数据的时候非常有用。 负载均衡技术 扩展性强:当系统要更高数据库处理速度时,只要简单地增加数据库服务器就可以得到扩展。 可维护性:当某节点发生故障时,系统会自动检测故障并转移故障节点的应用,保证数据库的持续工作。 安全性:因为数据会同步在多台服务器上,通过多份数据来保证安全性。另外它成功地将数据库放到了内网之中,更好地保护了数据库的安全性。 易用性:对
文档评论(0)