《列存储数据区级压缩模式与压缩策略选择方法》.pdf

计算机学报 CHINESE JOURNAL OF COMPUTERS 列存储数据区级压缩模式与压缩策略选择方法 王振玺 1) 乐嘉锦 1) 王梅 1) 刘国华 2) 1) (东华大学计算机科学与技术学院 上海 201620) 2) (计算机软件新技术国家重点实验室 南京大学210093) 摘 要 压缩技术是列存储数据管理的重要研究内容之一。目前多数方法对同一列数据使用单一压缩方法进行压缩，忽略了数据 的局部分布特性，极大的影响了压缩性能。本文提出一种区级压缩模式，并在此模式下提出基于学习的压缩策略选择方法。首先 本文将数据列进一步划分为区，并分别定义相邻区信息与区所在列的统计信息为参照信息，进而通过学习参照信息与当前区之间 的相似性和差异性进行策略推荐。最后本文对区进行局部学习从而对推荐压缩策略进行修正，保证压缩策略的有效性。在数据仓 库基准数据集SSB上的实验结果验证了本文方法的有效性。 关键词 列存储； 数据压缩； 区级压缩模式； 压缩策略选择 中图法分类号：TP311 Sector-based Compression and Compression Strategy Selection Method for Column Stores WANG Zhen-Xi1) LE Ja-Jin1) WANG Mei1) LIU Guo-Hua2) 1) (School of Computer Science and Technology, Donghua University, Shanghai 201620) 2) (State Key Laboratory for Novel Software Technology Nanjing University, P.R. China 210093) ， Abstract Compression technology is an important research field in column-oriented management system. However, most previous compression techniques for column-oriented data use same algorithm for all columns, ignoring the local distribution of data, which greatly degrade the compression performance. In this paper, we propose a sector-based compress pattern, under such pattern we further provide a novel learning-based compression strategy selection method for column stores. First, data column is divided into sectors in our method. We respectively extract the neighbor sector information and the statistic information of the column with the given sector as two references. Then we propose to learn the similarity between the reference and the given sector to obtain the recommended compression strategy.. Finally, we improve the r