关系数据存储.doc

关系数据存储 传统的行式数据库，是按照行存储的，维护大量的索引和物化视图无论是在时间(处理)还是空间(存储)方面成本都很高。而列式数据库恰恰相反，列式数据库的数据是按照列存储，每一列单独存放，数据即是索引。只访问查询涉及的列，大大降低了系统I/O，每一列由一个线来处理，而且由于数据类型一致，数据特征相似，极大方便压缩。 在数据仓库领域，列式数据库和传统的行式数据库有何差别呢?列式数据库和行式数据库的拥护者均认为结合这两种技术的混合数据库是个不错的想法。 行式数据库擅长随机读操作，列式数据库则更擅长大批量数据量查询，而混合数据库则试图同时包含这两种技术的优点，在灾难恢复环境中，数据要么按列式存储，要么按行式存储。 未来将是列式数据库的天下，行数据库和混合型数据库都将渐渐消亡，原因如下：数据增长速度很快，对存储设备(主内存和SSD)的需求也将不断上升，随着主内存和SSD中压缩列所占百分比的提高，列式数据库随机读的弱点反而变成了优点，这样列式数据库不管是应付联机事务处理，还是大批量更新或大型报表需要执行的复杂查询都能应付自如。对于更新操作而言，列式数据库和行式数据库在这方面已经没有多大差距了，因为大部分更新操作只会影响到一行中的一到三列(字段)，同时，大部分更新操作影响的是最近的数据，因此主内存/SSD缓存中数据会越来越多。对于插入和删除操作而言，先在内存中快速更新索引，然后再写入磁盘，这意味着在I/O密集型情况下也不会有明显的性能下降。对在线备份而言，按列存储方法压缩数据后备份时间窗口将会更短。 列式数据库优缺点 列式数据库从一开始就是面向大数据环境下数据仓库的数据分析而产生，它跟行式数据库相比当然也有一些前提条件和优缺点. 列式数据库优点： 极高的装载速度 (最高可以等于所有硬盘IO 的总和，基本是极限了) 适合大量的数据而不是小数据 实时加载数据仅限于增加（删除和更新需要解压缩Block 然后计算然后重新压缩储存） 高效的压缩率，不仅节省储存空间也节省计算内存和CPU. 非常适合做聚合操作. 缺点： 不适合扫描小量数据 不适合随机的更新 批量更新情况各异，有的优化的比较好的列式数据库（比如Vertica)表现比较好，有些没有针对更新的数据库表现比较差。 不适合做含有删除和更新的实时操作。 Sybase IQ 面描述了IQ独特的技术特征所带来的一些关键的应用效果。查询效果—瞬间响应 IQ通过列存储、革命性的位图索引方法以及智能的动态访问技术实现了快速的查询响应速度，比传统的数据库查询速度提高10-1000倍。这主要表现在如下几个方面： 减少磁盘I/OSybase IQ通过独特的列存储，索引与压缩技术，大大减少了查询中的磁盘I/O次数，其杰出的磁盘I/O效果带来了更快速的查询反应，更高的吞吐量和更低的成本。并行列处理IQ支持列向量的并行处理，这样，在查询中，大量的列向量将被并行扫描，从而达到显著降低响应时间的目的。?智能优化IQ允许在每个列上建立多个索引，IQ查询优化器在不同的使用情况下为查询选择不同的索引。提高Cache命中率大多数传统的关系型数据库执行决策支持类型的查询时会进行表扫描。表扫描使Cache 命中率降低。列存储方式使Cache命中率大大提高，查询响应加快。IQ?并行结构对多用户查询的性能影响 大多数传统数据库采用的并行表扫描方法在一个大型SMP上只有一个用户的情况下，效果是最好的，但在多用户查询环境中的性能会大打折扣。原因是现在的大多数SMP 系统只能同时支持一至两个大型的并行表扫描，如果扫描数量增加，不是CPU 资源不够，就是耗尽了I/O 总线的带宽。每一个表的扫描同时也使数据库缓冲完全失效，因为大多数大型数据仓库应用的表扫描都远大于物理缓冲区的存储能力。IQ独特的并行结构可以在大量的并发查询情况下提供优秀的查询性能。 存储效果—节约存储成本 智能压缩技术，与精巧的索引结构和列存储结合，IQ比其他数据库引擎拥有更好的存储效果。这将获得更低的存储成本与更高的查询性能（因为系统仅需很少的磁盘I/O读取或写入任何给定的数据库块）。 在传统的数据库中，为提高查询性能所建的索引占用的磁盘空间往往需要比数据本身需要的磁盘空间多出3-10倍。而Sybase IQ 存储数据所占用的磁盘空间通常只是原数据文件的40%-60%，是传统数据库所占用空间的几分之一。 数据加载—更高效率 数据加载，包括向一个现有的数据仓库中增加数据，其加载效率大大高于传统的数据库。这是因为IQ的列存储、列并行处理与索引技术，为快速批量数据加载时提供了强大的技术保证。 如果在数据加载时考虑索引的增量式加载，大多数传统的关系型数据库在数据的增量式加载方面都存在严重的问题。这就是说，如果你一次装入了100GB 的原始数据并在其上创建了索引，再在此基础上增加10