大数据存储技术.docx.docVIP

大数据存储技术 杜鹏程孔庆春张莉莉 1,2,3,4,5(清华大学 计算机科学与技术系,北京 100084) Abstract：Big data analysis compared with the traditional data warehouse applications, with a large amount of data and complex query analysis, etc. Big data storage because of its itself exists 4 v characteristics, the traditional storage technology can not meet the needs of large data storage, data resources through the ETL technology was extracted from the source system, and is converted into a standard format, then using NoSQL database for database access management, make full use of the network cloud storage technology enterprise storage cost saving, efficiency advantage, through a distributed network file system to store data information in the Internet network resources, using visual operating interface to satisfy the users data processing requirements at any time. Key words: Data acquisition (ETL), data access (NoSQL), cloud storage, distributed file systems, visualization 摘 要: 大数据分析相比于传统的数据仓库应用，具有数据量大、查询分析复杂等特点。大数据存储大数据存储从源系统中提取，转换为一个标准的格式节约企业存储成本，提高效率关键词: 引言 在学术界，Nature早在2008年就推出了Big Data专刊[1]。计算社区联盟(Computing Community Consortium)在2008年发表了报告《Big9Data Computing: Creating revolutionary breakthroughs in commerce, science, and society》 [2]，阐述了在数据驱动的研究背景下，解决大数据问题所需的技术以及面临的一些挑战。Science 在2011年2月推出专刊《Dealing with Data》[3]，主要围绕着科学研究中大数据的问题展开讨论，说明大数据对于科学研究的重要性。美国一些知名的数据管理领域的专家学者则从专业的研究角度出发，联合发布了一份白皮书《Challenges and Opportunities with Big Data》[4]。该白皮书从学术的角度出发，介绍了大数据的产生，分析了大数据的处理流程，并提出大数据所面临的若干挑战。 业界通常用Volume、Variety、Value和Velocity（简称为“4V”，即数据体量巨大、数据类型繁多、价值密度低和处理速度快）四个特征来显著区分大数据与传统数据。 大数据技术是一个整体，没有统一的解决方案，本文从大数据生命周期过程的角度讨论、、、系统、数据可视化等5个部分。 ETL体系结构体现了主流ETL产品的主要组成部分 图1 ETL体系结构 ETL过程中的主要环节就是数据抽取、数据转换和加工、数据装载[6]。为了实现这些功能，各个ETL工具一般会进行一些功能上的扩充，例如工作流、调度引擎、规则引擎、脚本支持、统计信息等。 数据抽取 数据抽取是从数据源中抽取数据的过程[7]。实际应用中，不管数据源采用的是传统关系数据库还是新兴的NoSQL数据库 数据转换是真正将源数据库中的数据转换为目标数据的关键步骤，在这个过程中通过对数据的合并汇总过滤以及重新格式化和再计算等，从而将操作型数据库中的异构数据转换成用户所需要的形式[8]。数据的转换和加工可以在ETL引擎中进行，也可以在数据抽取过程中利用数据库的特性同时进行。 （1）ETL引擎中的数据转换和加工[9] ETL引擎中一般以组件化的方式实现数据转换