一种基于Hive日志分析的大数据存储优化方法_王正也.pdf

网络出版时间：2014-12-25 16:50 网络出版地址：/kcms/doi/10.3969/j.issn.1003-6970.2014.11.020.html 软件 2014 年第 35 卷 第 11 期 SOFTWARE 国际IT 传媒品牌 一种基于 Hive 日志分析的大数据 存储优化方法 王正也，李书芳 (北京邮电大学通信与信息工程学院 北京 100876) : 从 2002 年起，某金融机构积累了大量的银行卡支付日志数据。随着业务的不断增长，数据集高速增长，原生 的 Hive 的查询性能已经不能令人满意。文章研究了大数据及存储的现状，提出了一种基于存储日志的分析的 Hive 存储格 式优化方法，通过该优化方法从查询时间和存储空间利用率两方面使系统性能得到提升，提升了查询效率。论文对该金融 机构原有 Hive 存储系统通过基于存储日志分析的 Hive 存储格式优化方法进行改进，通过实际数据，充分证明了该方法的 可行性。 : 大数据；Hive；存储优化；列式存储 中图分类号: TP301.6 文献标识码: A DOI： 10.3969/j.issn.1003-6970.2014.11.020 本文著录格式：王正也，李书芳. 一种基于 Hive 日志分析的大数据存储优化方法[J]. 软件，2014，35(11)：94100 A storage optimization of the big data based on Hive log analysis WANG Zheng-ye, LI Shu-fang (Communication and Information Engineering School, Beijing University of Posts and telecommunications, Beijing 100876, China) 【Abstract 】: Since 2002, a financial institution has accumulated a large number of bank card payment data log .With the high-speed growth of business and data sets, the query performance of native Hive is not satisfactory. This paper studies the data and the present situation of the storage. This paper proposes an optimized data storage strategy based on Hive log anal- ysis. In that way, the optimized Hive will improve the efficiency, shorten the query time and reduce the data storage space greatly. At last, using the method above, this paper modified Hive warehouse of a domestic financial institution. After test- ing, there is significantly improvement in the optimized system in terms of a query speed and disk space utilization. 【Key wo