基于FPGA的比特并行上下文混合压缩加速器优化研究.pdf

华中科技大学硕士学位论文

摘要

数据压缩技术被广泛用于减少数据存储和移动开销。上下文混合压缩算法具有

较高的压缩比，能够有效降低数据存储成本，但面临着压缩速率低的问题。一方面，

算法本身只能串行压缩字节内的各个比特；另一方面，缺乏定制化高并行度的压缩硬

件加速器，导致压缩时延长。现场可编程门阵列（FieldProgrammableGateArray，

FPGA）可实现高度并行的定制化加速器，但仍需要解决以下两个问题：（1）如何提

高上下文混合压缩算法的并行性，充分利用硬件并行资源，从而提升压缩速率；（2）

如何在有限的硬件资源下，提高上下文预测准确度，从而保证较高压缩比。

针对上述问题，提出了比特并行的上下文混合压缩算法LpaqHP，通过解耦当前

比特的预测与字节内前导比特信息更新之间的依赖，提高了压缩速率。对于预测器，

设计了静态概率映射和模型拆分方案，避免了各比特在更新概率映射表时的依赖和

子模型更新共享哈希表的冲突。对于混合器和编码器，逐字节更新神经网络权重和编

码区间，使用8个计算处理单元并行进行各个比特位置的概率生成和码字分配。为

减少字节级信息更新导致的预测准确度下降对压缩比的影响，提出了压缩比补偿的

比特并行上下文混合加速器LpaqHP-EngineX，提升了预测器和混合器的准确度，同

时保证了较高的压缩比和压缩速率。设计了基于预训练的表格哈希方法，使用多轮预

训练生成哈希命中率最高的表格哈希随机数，提高概率预测准确度。此外，设计了基

于双层神经网络的混合方法，使用多种可信度上下文组合选择更加准确的权重，提高

概率混合准确度。

在VirtexUltraScale+VCU118的FPGA开发板上，使用Chisel语言实现了LpaqHP-

EngineX硬件加速器并基于ChiselTest构建了完整的硬件验证方案。测试结果表明，

与原上下文混合算法相比，LpaqHP-EngineX达到了233倍的加速效果，在文本数据

集上提高了5%的压缩比，哈希表存储开销仅为8.6%。与字典压缩算法zstdlevel9相

比，LpaqHP-EngineX在文本数据集中达到了1.7倍的压缩比。

关键词：上下文混合压缩算法；比特并行；现场可编程门阵列

I

华中科技大学硕士学位论文

Abstract

Datacompressiontechniqueiswidelyusedtoreducedatastorageandmovement

overhead.Contextmixingcompressionalgorithmshavehighcompressionratios,whichcan

effectivelyreducedatastoragecostsbutfacetheproblemoflowcompressionspeed.Onthe

onehand,thealgorithmcanonlycompresstheindividualbitswithinabyteserially;Onthe

otherhand,thelackofcustomizedandhighlyparallelizedcompressionhardware

acceleratorsleadstolongcompressionlatency.FieldProgrammableGateArray(FPGA)

canachievehighlyparallelizedcustomizedacceleratorsbutstillneedstoaddressthe

followingtwoissues:(1)Howtoimprovetheparallelismofcontextmixingcompression

algorithmsandmakefull