数据切片技术在石油大数据分析中的应用.docxVIP

??

?

??

数据切片技术在石油大数据分析中的应用

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

【摘要】油田企业面对不断拓展的业务需求、多种数据类型和海量的数据管理需求，需要先进的数据横向扩展能力和高频访问能力。通过引入数据切片技术，在扩展数据元模型的基础上，建立数据立方体，完成石油大数据的数据切片，把海量业务数据均匀分布到数据库集群的不同机器节点，实现数据横向扩展，有效降低单台机器的访问负载，提高数据访问速度和并发量。

【关键词】数据切片、数据立方体、动态拼接

Applicationofdataslicingtechnologyinbigdataanalysisofoilenterprise

JINYunzhiWANGJipengZENGXiaomingCHENJianhua

ZhanjiangBranch.CNOOCChinaLimited.Zhanjiang.Guangdong524057.China

【Abstract】Infaceexpandingbusinessneeds,multipledatatypesandmassivedataapplicationrequests,oilfieldenterprisesneedadvanceddatahorizontalexpansionabilityandhigh-frequencyaccessability.Throughtheintroductionofdataslicingtechnology,onthebasisofexpandingthedatametamodel,establishedthedatacube，completethedataslicingofoilbigdata,andthemassivebusinessdataisevenlydistributedtodifferentmachinenodesofthedatabasecluster,soastorealizethehorizontalexpansionofdata,effectivelyreducetheaccessloadofasinglemachine,andimprovethespeedandconcurrentamountofdataaccess.

【Keywords】Dataslicing,datacube,dynamicsplicing

一、数据切片技术简介

随着石油企业数据应用的广泛发展，在传统数据库模式下，高频访问会形成性能瓶颈，并且横向扩展能力有限，扩展成本高。通过数据切片以横向扩展数据层的方式来提高应用访问性能已经成为架构研发人员首选的方式。

数据切片技术把海量业务数据均匀分布到数据库集群的不同机器节点，实现数据横向扩展，有效降低单台机器的访问负载，提高数据访问速度和并发量。通过负载均衡策略，有效的降低了单台机器的访问负载，降低了宕机的可能性；通过集群方案，解决了数据库宕机带来的单点数据库不能访问的问题；通过读写分离策略更是最大限度了提高了应用中读取（Read）数据的速度和并发量。

建立数据切片算法，采用分布式数据库的数据路由、全局索引和序列等技术，可以实现应用程序对切片数据的透明访问，提升访问效率。

图1切片后存储示意图

建立业务数据的切片算法是分布式数据库切片技术中的关键点，目前常用的算法主要包括哈希算法、取模算法、区间范围算法等

图2MDA数据库切片示意图

设计业务数据的切片维度应该这样进行——根据业务数据的内聚性、事务相关性等特点，按照不同维度进行数据切片。同时要实现切片数据的透明访问：对访问数据的SQL请求进行分析，并根据切片算法和切片维度，自动路由到请求所对应的切片DB和库表，实现对切片后数据的透明访问。

利用全局序列功能，解决分布式架构下序列唯一性问题；新增切片索引功能，提升非分片键查询效率；新增库内分表功能，解决超大表分库后需再次分表问题；新增分布式事务支持，保障分布式架构下数据的一致性。

二、数据切片技术在石油大数据分析中的应用

（一）元模型扩展

基于模型驱动的数据中心建立起了模型驱动的数据管理体系，可以方便地进行模型的扩展与部署，通过业务模型、逻辑模型和物理模型三个层次的划分和管理[2]，可以实现业务的扩展直达物理模型底层，但数据中心的元模型主要是针对数据管理层面，这种划分是按照专业的纵向维度来进行的，对于业务数据之间的其它维度则没有涉及，而这恰恰是业务人员更习惯和更希望