分布式计算、云计算与大数据 第2版 课件 第6章 云存储技术.ppt

分布式表存储NoSQL数据库分类类型主要产品特点列存储HbaseCassandraHypertable顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。文档存储MongoDBCouchDB文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。Key-Value存储TCabinet/TyrantBerkeleyDBMemcacheDBRedis可以通过key快速查询到其value。一般来说，存储不管value的格式，照单全收。（Redis包含了其他功能）图存储Neo4JFlockDB图形关系的最佳存储。使用传统关系数据库来解决的话性能低下，而且设计使用不方便。对象存储db4oVersant通过类似面向对象语言的语法操作数据库，通过对象的方式存取数据。XML数据库BerkeleyDBXMLBaseX高效的存储XML数据，并支持XML的内部查询语法，比如XQuery,Xpath。表存储适应场景典型NoSQL数据库适用场景数据库最佳适用适用场景Cassandra写操作较多，读比较少的时候。如果你的系统都是基于Java的时候主要应用场景包括：银行、金融行业、数据分析。应用于FacebookMongoDB主要支持海量数据存储，动态查询，定义索引，针对大数据库的高性能使用，大容量磁盘空间。适用于：网站数据、缓存、大尺寸，低价值的数据、高伸缩性的场景、用于对象及JSON数据的存储Redis在数据库大小可预见的前提下，适用于数据变化速度快的应用较小数据量的高性能操作和运算上，包括：股价系统、数据分析、实时数据采集以及实时通信场景CouchD对于数据变化不太频繁的业务，运行有预先定义的查询。此外对于版本控制有高要求的业务同样适用CRM、CMS系统等HBase类似于BigTable，需要随即、实时的读写大数据适合于非结构化数据存储的数据库，如：Facebook网站、邮件数据库等各种存储技术对比?分布式对象存储分布式文件存储块存储NoSQL存储存储单位对象，就是带客户化元数据的文件文件数据块文档更新方式不支持就地更新，通过建立新的对象版本进行更新支持就地更新支持就地更新很少更新协议通过HTTP的REST和SOAPCIFS和NFSSCSI，FiberChannel和SATAApache协议，HTTP/REST元数据支持支持客户化元数据固有的文件系统属性固有的系统属性固有的文件系统属性最佳应用场景相对静态的文件数据和云存储共享文件数据交易数据和频繁变化的数据非关系型数据存储，适用于海量数据存储和OLAP的应用场景最大优势扩展性和分布式访问简单的共享文件访问和管理高性能易扩展、灵活的数据模型、高可用、大数据量，高性能制约因素不适合频繁变化的交易数据；不提供基于锁机制的共享协议很难扩展到数据中心之外的范畴很难扩展到数据中心之外的范畴很难实现数据的完整性；缺乏强有力的技术支持等存储类型存储类型分布式文件存储对象存储直接附加存储DAS块存储表存储存储域网络SANIPSANFCSAN网络附加存储NAS日志详单类存储NoSQL存储Google文件系统GFSHadoop分布式文件系统OLTP关系数据库OLAP数据仓库BC-oNestAmazonS3BigTableHBaseSwiftCassandraMongodb存储虚拟化企业用户面对日益复杂的异构平台，不同厂商的产品，不同种类的存储设备，给存储管理带来诸多难题。数据应用已不再局限于某一企业和部门，而分布于整个网络环境。系统整合、资源共享、简化管理、降低成本以及自动存储将成为信息存储技术的发展要求。存储虚拟化技术(StorageVirtualization)是解决这些问题的有效手段，现成为信息存储技术的主要发展方向。随着网络存储的飞速发展给存储虚拟化赋予了新的内涵。使之成为共享存储管理中的主流技术。存储虚拟化的基本原理是：把多个存储介质模块(如硬盘、磁盘、磁带)通过一定手段集中管理，把不同接口协议(如SCSI，iSCSI或FC等)的物理存储设备(如JBOD，RAID和磁带库等)整合成一个虚拟的存储池，根据需要为主机创建和提供虚拟存储卷。即把不同存储硬件抽象出来，以管理工具来实现统一的管理，不必再管后端的介质到底是什么。存储虚拟化虚拟化的目的主要有三个：抽象，隐藏，隔离。存储虚拟化的目的