列式存储技术简介分解.ppt

* * * * * * * * 列式存储技术 传统数据库的行式存储 传统行式数据库 c5 c4 c3 c2 c1 … c9 c8 c7 c6 r1 r2 r3 r4 r5 数据按行存储 操作某列必须读入整行 没有索引的查询占用大量I/O 建索引或聚合表需要花费大量时间和资源 适用于联机事务处理（OLTP） 行式存储的局限性 数据仓库需要进行联机分析处理（OLAP） OLAP类型的查询 需要访问几百万甚至几十亿个数据行 往往只关心少数几个数据列 冗余列的查询没有意义 数据几乎不压缩 当前数据库市场的细分格局 OLTP 交易业务 OLAP 分析系统 “万能的”行式数据库 内存数据库 更多事务处理 列式数据库 更大量数据的分析 做 你知道的 分析发现 你不知道的 列式存储 列式数据库 c5 c4 c3 c2 c1 … c9 c8 c7 c6 r1 r2 r3 r4 r5 数据按列存储 – 每一列单独存放 数据即是索引 只访问查询涉及的列 – 大量降低系统IO 每一列由一个线程来处理 – 查询并发处理 数据类型一致，数据特征相似 – 方便压缩 列式存储的数据压缩 传统的行存储数据库存储的数据差异性较大，压缩效果不好 列存储非常适合轻量级压缩 列组 每次读取某个数据行 需要分别从不同的地方读取各个数据列的值 合并在一起形成数据行 列组一种行列混合存储模式 同时满足OLTP和OLAP的查询需求 很多列式数据库支持列组 多个经常一起访问的数据列的各个值存放在一起 若读取的数据列属于相同的列组，列式数据库可以从相同的地方一次性读取多个数据列的值，避免了多个数据列的合并 列式存储的应用 列式存储的优缺点 优点： 数据读取过程没有冗余，能直接读取某列数据 节省大量I/O带宽 数据能进行有效压缩，为数据仓库中巨大的数据量节约存储成本 能够迅速的执行复杂查询 缺点： 对数据行的操作效率较低 Thank you * * * * * * * *