基于资源基础观的大数据技术探析.docVIP

基于资源基础观的大数据技术探析 　　作者简介：石文萍(1989-), 女，汉族，山西晋中人，在读研究生，山西财经大学管理科学与工程学院 管理科学与工程专业 研究方向：组织创新与网络治理。 　　摘要：“大数据”无疑是当下最热门的话题，但随着人们对于“大数据”研究的逐渐深入，大数据技术问题面临严峻的挑战，本文在分析了大数据背景和研究意义的基础上提出了当前大数据面临的技术挑战，并从资源基础观的视角对能耗、算法、安全等几个角度阐述了大数据技术的应对策略。 　　关键词：大数据;技术挑战;能耗；算法；资源基础观一、引言 　　随着科学技术的发展和人们需求的不断变化，信息数据量逐年增加，尤其是过去几年结构化数据、半结构化数据等多种类型的数据几乎呈现爆炸式增长。维克托#8226;迈尔―舍恩伯格曾说，世界的本质就是数据，大数据的发展动力主要来源于人类测量、记录和分析世界的渴望。 　　阿尔文#8226;托夫勒（1980）在其《第三次浪潮》一书中首次提到“大数据”一词。随后在20 世纪90 年代，被称为“数据仓库之父”的比尔#8226;伊蒙（Bill Inmon）明确提出了“大数据”的概念。但“大数据”的说法在当时并没有引起人们的过多关注。2012年3月22日，奥巴马宣称美国政府即将投资2亿美金启动“大数据研究和发展计划”。这项计划的实施更提高了研究者们对于“大数据”的关注度。 　　二、大数据的研究意义 　　随着人们对于大数据的关注度越来越热，研究者们发现大数据存在巨大的科学价值和社会价值。一旦思维转变，挖掘数据就能被用来激发新产品和新服务，只要善于挖掘、抽取和利用数据，不仅能够成为企业之间竞争的核心力量，同时也成为国家竞争力的一部分。2009年时，甲型H1N1流感迅速传播，谷歌公司解释了怎样预测冬季流感的传播。这种预测方法在之前是被人们所忽视的，建立在大数据的基础上的一种前所未有的方式，通过对海量数据进行检索与分析，获得了巨大的价值。到2012年为止，Farecast系统的检索了将近10万亿条价格记录在预测美国国内航班的记录，这种预测工具使得购买机票的旅客，平均每张机票科节省50美元，等等都被称为是大数据应用的经典案例。显然，有效挖掘、利用大数据能够产生巨大的科学价值和社会价值，大数据逐渐成为现代社会基础设施的一部分。 　　三、大数据面临的技术挑战 　　无数成功的案例，无不证明了大数据带来的潜在价值，而且国家在大数据技术方面已经投入大量的人力、物力等，然而如果没有与大数据相匹配的科学技术带动的话，我们将无法有效利用大数据的潜在价值。 　　《中国电子科学研究院学报》编辑部在《中国电子科学研究院学报》[1]中讲到大数据的特点时，不仅强调了大数据多样化、海量、快速、灵活等四个特点，更加强调了大数据复杂性的特点，使得对大数据的处理更加艰巨，并且传统的基于网格分布式型数据库的商务智能已经不再适合对大数据进行处理了，所以大数据对软件技术提出了更高的要求。维克托#8226;迈尔- 舍恩伯格在其著作《大数据时代》中也指出这一点，“数据量的大幅增加会造成结果的不准确，一些错误的数据会混进数据库，造成数据库的混杂性”[2]。在数据从数据产生到数据的利用经历了许多的过程，而且任何一次数据的筛选与分类都无法回避面临的技术方面的挑战，如图1所示为数据的整个处理流程：图1大数据处理流程 　　如上图所示，在对源数据进行简单的筛选和抽取后，大量的数据主要以结构化数据、半结构化数据和非结构化数据三种形式存在，虽然目前Hadoop和NoSQL等分布式处理技术已经能对非结构化的数据进行挖掘、抽取并有效利用，但是还没有一个比较全面而完善的解决方案。 　　四、 大数据技术的应对策略 　　随着各种分类和存储技术的发展，大数据的研究带来巨大的价值，但是同时也付出了巨大的代价，从资源基础观的角度，大数据技术在带来巨大价值的同时，我们更加应该关注付出的成本，毕竟净价值才是大数据的终极目标。本文主要从资源基础观的角度对大数据面临的技术挑战，从能耗、算法、安全等几个方面来阐述大数据技术的应对策略。 　　（1）大数据能耗问题的应对策略。吴金红等人在《大数据：企业竞争情报的机遇、挑战及对策研究》中谈到大数据时代即将面临的能源消耗问题。麦肯锡公司经过一年的调查研究，最终在《纽约时报》上发表文章“Power，pollution andthe Internet”．据调查研究，能耗在目前数据管理系统中的费用大约占总能耗的16%左右。我国的“十二五”规划中，明确了对于能源的要求，我们更要节约能源、资源，有效的利用资源。大数据新型存储技术中的闪存和相变存储器PCM，能够有效降低能耗的问题。闪存比磁盘能耗更低，读取数据的能耗只占磁盘的2%,而且写操作也只有磁盘的30%，闪存的出现为目