支持实时复杂查询和分析的NoSQL系统方案.ppt

一种支持实时复杂查询和分析的NoSQL系统;题 纲;系统需求概述;对数据的访问需求 提供SQL访问接口 支持大规模结果集：达到千万条规模 支持按多列的实时查询（秒级） 支持多列之间的逻辑比较关系，例如AND、OR、NOT等 支持多列之间的的算术比较关系，例如=、、等 支持统计、聚合、分组、排序等操作（秒级） ORDER BY ASC (DESC)，GROUP BY, TOP, LIMIT SUM，COUNT，AVG，MAX，MIN 数据不更新，但需要对数据批量删除;共享磁盘 Oracle RAC;;NoSQL（非关系型） NoSQL ≠No SQL，而是No Relationship，Not Only SQL 系统特点 可以处理超大规模的数据，可支持到千亿规模 Sharing-Noting架构，可扩展性强 数据加载速度快，并可随节点个数线性增长 ;根据特定应用场景的需要设计开发了很多NoSQL系统 分布式KV型：例如：Dynamo，PNUTS、Flare CF型： 例如：Bigtable，Cassandra和Hbase。 文档型：例如：MongoDB, coutchDB ;现有方案(3)-NoSQL方案;KV型NoSQL数据库一般采用CHash策略 基于CHash实现组员管理、数据分布、副本容错等 容易实现精确查询，但是无法支持区间查询;现有方案(3)-No-SQL.CF;现有方案(4)—Hadoop+MR+HIVE;现有方案分析;现有方案分析;;题 纲;系统物理架构;索引结构;;存储及I/O方式;分布式查询流程;分布式查询流程;分布式查询规划—查询规划;系统扩展性分析;系统扩展性分析;系统可靠性分析;系统功能概述—查询方法;系统功能概述—功能汇总;题 纲;数据模型——2. shard数据结构;Datanode2;谢 谢