(海量处理与数据分析数据库.ppt

中国科学院计算技术研究所 一种支持实时复杂查询和分析的NoSQL系统 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 题 纲 系统需求与现有方案 技术方案 应用案例 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 系统需求概述 数据及系统特点 结构化：每条记录包含10个字段左右，每条记录的大小大约是几百字节 数据量巨大：达到千亿级以上，达到PB级 加载速度快：达到百万条/s的规模 系统规模：可以扩展到上千个节点 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 对数据的访问需求 提供SQL访问接口 支持大规模结果集：达到千万条规模 支持按多列的实时查询（秒级） 支持多列之间的逻辑比较关系，例如AND、OR、NOT等 支持多列之间的的算术比较关系，例如=、、等 支持统计、聚合、分组、排序等操作（秒级） ORDER BY ASC (DESC)，GROUP BY, TOP, LIMIT SUM，COUNT，AVG，MAX，MIN 数据不更新，但需要对数据批量删除 系统需求概述 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 共享磁盘 Oracle RAC DB SAN/共享磁盘 DB DB DB 网络 SAN/FC 完全共享 SMP服务器 DB 磁盘 现有方案(1)—关系数据库 单机数据库结构 Oracle RAC 关系型数据库都主要关注了CA，即一致性和可用性 性能、可扩展性上都比较差 无法满足可扩展性和性能的要求 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 完全不共享 DB DB DB DB 网络 磁盘 磁盘 磁盘 磁盘 Master 现有方案(2)—关系数据库集群 Parallel DBMS 数据分片(sharding)或者功能分区 将数据按照不同的策略进行划分：功能、字段值范围、HASH等 优点：能够有效的解决可扩展性的问题 缺点：shard的扩容比较复杂 ；联合多个shard的表数据查询复杂。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. NoSQL（非关系型） NoSQL ≠No SQL，而是No Relationship，Not Only SQL 系统特点 可以处理超大规模的数据，可支持到千亿规模 Sharing-Noting架构，可扩展性强 数据加载速度快，并可随节点个数线性增长 现有方案(3)-NoSQL方案 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 根据特定应用场景的需要设计开发了很多NoSQL系统 分布式KV型：例如：Dynamo，PNUTS、Flare CF型： 例如：Bigtable，Cassandra和Hbase。 文档型：例如：MongoDB, coutchDB 现有方案(3)-NoSQL方案 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. 现有方案(3)-NoSQL方案 现有No-SQL数据管理系统检索能力差 K/V型：仅支持基于Key的查询，无法做多关键字查询以及根据Value的复杂查询 Column-Based型：扩展了KV数据模型的表述能力，但是仅支持关键字查询，时间区间查询，不支持针对属性的复杂查询以及统计、分