nosql数据库解读.pptx

谁是下一代Nosql？;前世;无可奈何花落去，似曾相识燕归来;;回归本源，最初的目的是什么？;目的？;;NOSql：No sql？Not only sql？New Sql？;知彼知己,百战不殆;BerkeleyDB;曾经Lucene的BDB directory和Mysql的BDB引擎见证了BerkeleyDB的辉煌;曾经的缓存霸主 Memcache;内存结构图：二维数组链表 slab是一次申请内存的最小单位;SLAB内存处理机制 提前分配大内存slab 1MB，再进行小对象填充chunk 避免大量重复的初始化和清理?减轻内存管理器负担 避免频繁malloc/free?系统碎片 懒惰检测机制 不检测item对象是否超时 get时检查item对象是否应该删除 懒惰删除机制 删除item对象时，不释放内存，作删除标记，指针放入slot回收插槽，下次分配的时候直接使用;因为优秀，所以不足;目前依然有很多的公司在使用 Facebook Sina Renren Digg Mixi 。。。;Google三宝列式存储BigTable/HBase;;Bigtable中使用Bloomfilter查询一个 SSTable是否包含了特定行和列的数据。只要少量的、用于存储Bloomfilter的内存，显著减少 的磁盘访问的次数。当应用程序访问不存在的行或列时，大多数时候我们都不需要访问硬盘。;HBase中的所有数据文件都存储在Hadoop HDFS文件系统上，主要包括上述提出的两种文件类型： 1.?????? HFile， HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile 2.?????? HLog File，HBase中WAL（Write Ahead Log） 的存储格式，物理上是Hadoop的Sequence File;Bigtable之后google发布里以Dremel产品为代表的第二阶段产品，Dremel产品采用了与Bigtable不同的数据结构，立足实时对于海量数据进行分析，据说在秒级可以完成PB级别的数据分析和处理，可以做是分布式数据库实时处理的杰作，其实时处理能力达到令人惊艳的速度。 第三阶段以Spanner数据库技术为代表，Spanner数据 库在可以做到多数据表事务一致性管理，利用原子时钟（TrueTime）和Paxos协议解决了分布式数据库多表事务一致性管理的难题，打破的CAP不可 三者兼得的理论神话，使得分布式数据库技术得到了革命性的进步。;去中心化的代表Dynamo/Cassandra;CAP: 1、可用性完全去中心化，无单点，永远可写。2、伸缩性带虚拟机节点的一致性hash：一致性hash解决扩容/缩容问题，虚拟节点解决机器异质性问题。3、可靠性数据复制多份副本，用向量时钟（vector clock）解决版本合并问题。（Cassandra采用的是客户端timestamp，取必威体育精装版的timestamp数据）4、可配置平衡性可调，即根据（N,W,R）模型平衡可用性和一致性（W+RN ），建议模型参数为（3,2,2）。;;三种风格的Gossip数据同步;;Document存储：Mongodb; 高性能、易部署、易使用，存储数据非常方便。 面向集合存储，易存储对象类型的数据。 模式自由。 支持动态查询。 支持完全索引，包含内部对象。 支持查询。 支持复制和故障恢复。 使用高效的二进制数据存储，包括大型对象（如视频等）。 自动处理碎片，以支持云计算层次的扩展性 Auto sharding 支持Python，PHP，Ruby，Java，C，C#，Javascript，Perl及C++语言的驱动程序, 社区中也提供了对Erlang 及.NET等平台的驱动程序。 文件存储格式为BSON（一种JSON的扩展）;33;1、在集群分片中的数据分布不均匀 2、单机可靠性比较差 3、大数据量持续插入，写入性能有较大波动 4、磁盘空间占用比较大 5、不负责内存管理，通过mmap依赖操作系统 管理 ;图存储neo4j;;属性图形模型（Property Graph Model）： 节点（即顶点） 关系（即边） - 具有方向和类型（标记和标向） 节点和关系上面的属性（即特性） ;后起之秀LevelDB/LMDB;bigtable tablet实现 LSM Tree算法 内部排序，支持range遍历 写性能极其出色(写为顺序IO，读为随机IO) 读性能依赖数据热度 SSD设备友好，不会写入放大（通