基于大数据分布式存储物流个人信息的隐私保护机制.docx

?

?

基于大数据分布式存储物流个人信息的隐私保护机制

?

?

摘要：随着中国电子商务的蓬勃发展，物流行业也随之得到了高速发展的机会。针对物流大数据带来的存储容量扩张、数据存储安全、隐私泄漏等新的问题，提出基于分布式数据库来存储含有不同权限级别物流数据的方法。从而满足物流大数据的存储需要，保证了用户隐私的安全，解决了物流数据的存储问题。

关键词：大数据;隐私保护;分布式存储系统;物流信息存储

：TP311：A

：1009-3044（2020）08-0286-03

1概述

随着我国物流行业的飞速发展，物流电子信息技术化的不断进步，物流产业也逐渐走向网络信息化时代。截至2018年，我国物流业务量已经达到453亿件，占据全球总业务量的一半。物流業务正在影响着人们的生活，使人们的生活更加美好。但是近几年也出现了一些物流信息安全问题，一旦物流数据轻易泄漏后果将不堪设想。一些发达国家通过行业自律和颁布相关法律来解决用户隐私泄漏问题。英国邮政管理委员会[11规定，物流的运营商必须在其许可证上明确关于邮政安全的相关条款。在国内外物流大数据的研究上，国外兴起了以一种软件模式来管理现代物流信息，比如采用SaaS（SoftwareasaService）模式来构建物流管理系统[2]。

Rvden等人通过亚马逊公司提供的数据安全存储服务和数据分析服务，对物流大数据进行分析处理与存储，得出了较为可行的适合当今物流行业的技术方案[3]。国内也提出了一些关于隐私保护的相关方案，比如一种基于二维码与信息隐藏技术的隐私保护方案，该方案是采用信息隐藏技术将用户信息嵌入到QR码中，从而实现对被隐藏的信息的分级访问权限的控制[4]。

面对我国如此庞大的物流信息，如何更加安全有效的存储这些信息成为最严峻的问题。我们发现了上述的研究都忽略了这个问题，一旦服务器受到了大规模的数据泄漏，用户的隐私信息将处于危险之中。因此物流信息如何更加安全有效的存储至关重要。所以本文提出基于分布式数据库来存储含有不同权限级别物流数据的方法。该方法可以整合集群中的数据源，满足了物流大数据的存储需要，保证了用户的隐私，解决了物流信息安全存储的问题。

2预备知识

分布式数据库（distributeddatabase），主要由一组数据组成的，这组数据分布在计算机网络中的不同的计算机上，网络中的每个节点具有独立处理的能力，可以执行局部应用。同时，每个节点也能通过网络通信子系统执行全局应用。主要具有如下几个特性：可扩展性、低成本、高性能、高可用性。

MySQL是当今使用最多的用于存储大型数据的数据库管理系统之一。MySQL具有如下特性：MySQL是开放源代码的，任何人都可以获取到其源码，具有很好的可开发性和灵活性;它也是一款可以多跨平台使用的数据库，可以运行在当前市面上最常用的几款操作系统;它具有多种存储引擎，可以轻松处理千万级以上的数据。比较适用用于存储大量的用户隐私信息。

对于存储物流数据这种大型的互联网应用而言，单表记录的规模是相当大的，这对于数据的存储和读写来说都是非常大的挑战。因此我们采用搭配着数据分片技术的MySQLReplica-tion架构，可以使数据库的吞吐能力得到了很大的提升。而数据分片我们采用水平分片，将原先一整张大的数据表通过分片算法，分布存储到不同分库中相同结构的子表中。这样就可以使每一个分库中的子表数据都被绑定在相对较小的范围之内，处理性能得到了很大的提升。

本文中分布式数据库存储借助了第三方中间件MYCat[5]来做处理，通过中间件实现数据切分从而实现分布式存储，这样的存储方式具有很高的效率与较好的可扩展性。

在整个分布式数据库实现的过程中，MvCat对于基于其之上的应用只提供统一的数据库服务器接口。MyCat通过对前台应用发送过来的soL命令进行解析，然后通过数据分片原则将其转移到数据库后台执行soL语句，当soL命令执行完毕后返回给应用。基于物流云平台的分布式存储数据库的功能框架如图1所示。

3物流云平台服务器分布式存储总体设计

根据物流信息对数据存储的要求，结合分布式数据库的原理及特点，本文将采用MySQI+MyCat相结合的数据集群存储方案。

针对物流行业存储空间分布均匀，存储数据量大，要求并发处理性能高的特点，因此给出本存储方案的功能流程，即数据分片、数据切合与整合、SQL的解析。基于分布式存储的总体架构如图2所示。

3.1存储数据分片

在分布式存储系统中，数据分片要达到三个目的，分布均匀、负载均衡、扩缩容时产生的数据迁移少。因此本方案采用水平分片的策略。

分片规则的选取是在物流信息存储过程中需要解决的重点问题，在将数据进行水平分片时，应该结合物流信息存储量大、分段加密信息难度大、要求性能高等特点。所以应选择合适的分片规则。因此本方案提