基于MVC架构的多维数据压缩存储方法研究.docx

? ? 基于MVC架构的多维数据压缩存储方法研究 ? ? 常会丽，周金莲，2 (1. 宁夏理工学院计算机科学与工程学院，宁夏 石嘴山 753000；2. 东北大学计算机科学与工程学院，辽宁 沈阳 110169) 1 引言 科技迅速发展导致数据量朝着大容量以及多样性的方向发展，增加了存储方式的难度。多维数据内存在庞大的冗余信息[1]，多维数据压缩方法的目的是以确保重构数据精准性为基础，最大限度地降低传输所需的码字，利于数据流的传输和存储[2，3]。 王鹤等人提出基于分布式压缩感知和边缘计算的配电网电能质量数据压缩存储方法[4]，利用同步正交匹配追踪算法进行配电网电能质量数据压缩，各节点稀疏系数间的互相关度实现配电网的谐波污染动态分区，通过K-SVD字典学习算法对配电网测量值进行分析，实现电能质量数据的高精度压缩。赵会群等人提出基于密度划分的数据存储方法[5]，通过密度区域划分算法降低高度重复数据的冗余度，利用缩LZW算法有效减少数据存储空间。但这两种方法压缩效率较低，因此以节约多维数据存储空间为前提，提升数据压缩效率以及适用范围为目的，研究基于MVC架构的多维数据压缩存储方法。 2 基于MVC架构的多维数据压缩存储方法 2.1 MVC架构 MVC架构主要包含三个单元，分别是多视角视频编码器、传输/存储与多视角视频解码器，其具体架构如图1所示。 图1 MVC架构 MVC技术是依据视角间的相关性与视角内部的相关性，提升多维数据的压缩效率；多视角视频编码器利用多维矢量矩阵的MVC方法压缩多维数据；传输/存储单元利用关系数据库方法存储压缩后的多维数据；多视角解码器通过多视角编码器的反过程实现解码，方便用户查询。 2.2 基于多维矢量矩阵的MVC多维数据压缩方法 基于多维矢量矩阵的MVC多维数据压缩方法的流程如图2所示。 图2 多维数据压缩流程 利用8×8分块采样处理原始数据，方便变换编码的实现，8×8×8分块代表各分块在长度维度、宽度维度与时间维度的限制值分别是8、8与8。 利用多维DCT正交变换方法处理重组的数据，表达公式如下 (1) (2) 变换表达公式如下 (3) 通过压缩编码处理变化后的系数矩阵数据，提升多维数据压缩效果；压缩编码操作是利用非均匀量化方式量化编码变换后的系数矩阵数据；依据差分编码方式实现量化后数据内相关性强的系数的预测编码，达到多维数据压缩目的[6]；多维扫描处理差分后的数据，提升零元素的连接数量；行程编码扫描后的数据，增强多维数据压缩效果[7]。 正交变换后的多维数据内低频分量值基本处于四维空间坐标原点周围，其值与距原点的距离成反比，绝大多数高频分量值无限接近0；多维数据量化矩阵的表达公式如下 A=(αxymn)8×8×8×8 αxymn=1+q((x+1)2+(y+1)2+(m+1)2+ (n+1)2-1)p (4) 式中，坐标原点为x，y，m，n=0，1，2，…，7；多维数据排列表用αxymn表示；量化因子分别是p与q，且-0.8≤p≤0.8，1≤q≤100；在p=0，q=0情况下，量化矩阵A内全部系数均是1，说明未展开量化处理；量化因子的取值与量化效果密切相关。 差分编码量化后的数据，设变换后的数据将矩阵内与坐标原点距离最近的首个元素作为直流分量DC，剩余元素属于交流分量AC。针对n个视角8×8×8×n分块的多视角数据，各分块均包含8×n个直流系数。因为直流分量数值大于交流分量数值，说明直流分量具备很强的相关性[8]，所以通过差分编码形式预测编码DC分量，保留AC分量，完成多维数据压缩。 令多视角数据分块数量是K，每个分块间直流系数差分的表达公式如下 (5) 式中，差值是Diff。 通过多维扫描处理差分编码后的数据，增加零元素数量，多维扫描的数学表达公式如下 F(B1，B2，…，Bm)=H (6) 式中，多维数据量化矩阵集合是Vm；常数是H；在数据的多维分块是N1×N2×…×Nm时，H的取值范围是0≤H≤N1+N2+…+Nm-m，Bm的取值范围是0≤Bm≤Nm-1；Bm的函数是F(*)；计算公式如下 F(z)=B1+B2+…+Bm=H (7) 针对8×8×8×8分块方式的多维数据，按照多维扫描公式获取其表达形式如下 u=a+b+c+d (8) 式中，每个维度中的坐标值分别是a、b、c、d，0≤a≤7，0≤b≤7，0≤c≤7，0≤d≤7且四个坐标值均为整数；多维扫描后的数据是u，0≤u≤28且数值是整数。 依据从小至大的顺序排列各个坐标集合中的全部坐标值，多维扫描的坐标排序结果如下 a+b+c+d=0?0000 a+b+c+d=1?0001→0010→0100→1000 a+b+c+d=2?0002→0020→0101→…→1100→2000 ? ? ? ? ? ? ? a+b+c+d=26?577