大数据详细介绍.docVIP

大数据

伴随网络信息化时代日益普遍，移动互联、社交网络、电子商务大大拓展了互联网疆界和应用领域，我们正处于一个数据爆炸性增加大数据时代，大数据在社会经济、政治、文化，人们生活等方面产生深远影响，大数据时代对人类数据驾驭能力提出了新挑战与机遇。

“大数据”作为时下最炽热IT行业词汇，随之而来数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据商业价值利用逐步成为行业人士争相追捧利润焦点。

一、大数据时代产生背景

进入以来，大数据（BigData）一词越来越多地被提及与使用，人们用它来描述和定义信息爆炸时代产生海量数，它已经出现过在\o查看图片《纽约时报》、《华尔街时报》专栏封面，进入美国白宫网新闻，现身在国内一些互联网主题讲座沙龙中，甚至被嗅觉灵敏国君证券、国泰君安、银河证券等写进了投资推荐汇报，大数据时代降临据。

有些人说二十一世纪是数据信息时代，移动互联、社交网络、电子商务大大拓展了互联网疆界和应用领域。我们在享受便利同时，也无偿贡献了自己“行踪”。现在互联网不但知道对面是一只狗，还知道这只狗喜欢什么食物，几点出去遛弯，几点回窝睡觉。我们不得不接收这个现实，每个人在互联网进入到大数据时代，都将是透明性存在。各种数据正在快速膨胀并变大，它决定着企业未来发展，即使现在企业可能并没有意识到数据爆炸性增加带来问题隐患，不过伴随时间推移，人们将越来越多意识到数据对企业主要性。大数据时代对人类数据驾驭能力提出了新挑战，也为人们取得更为深刻、全方面洞察能力提供了前所未有空间与潜力。正如《纽约时报》2月一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其余领域中，决议将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大数据资源使得各个领域开始了量化进程，不论学术界、商界还是政府，全部领域都将开始这种进程。”

二、什么是大数据？

美国互联网数据中心指出，互联网上数据每年将增加50%，每两年便将翻一番，而现在世界上90%以上数据是最近几年才产生。另外，数据又并非单纯指人们在互联网上公布信息，全世界工业设备、汽车、电表上有着无数数码传感器，随时测量和传递着关于位置、运动、震动、温度、湿度乃至空气中化学物质改变，也产生了海量数据信息。

对于“大数据”（Bigdata）研究机构Gartner给出了这么定义。“大数据”是需要新处理模式才能具备更强决议力、洞察发觉力和流程优化能力海量、高增加率和多样化信息资产。

大数据”这个术语最早期引用可追溯到apacheorg开源项目Nutch。当初，大数据用来描述为更新网络有哪些信誉好的足球投注网站索引需要同时进行批量处理或分析大量数据集。伴随谷歌MapReduce和谷歌FileSystem（GFS）公布，大数据不再仅用来描述大量数据，还涵盖了处理数据速度。

大数据（BigData）是指那些超出传统数据库系统处理能力数据。它数据规模和转输速度要求很高，或者其结构不适合原本数据库系统。为了获取大数据中价值，我们必须选择另一个方式来处理它。数据中隐藏着有价值模式和信息，在以往需要相当时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂代价才能从大数据中挖掘信息。而当今各种资源，如硬件、云架构和开源软件使得大数据处理更为方便和廉价。即使是在车库中创业企业也能够用较低价格租用云服务时间了。对于企业组织来讲，大数据价值表现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中信息。比如零售业中对门店销售、地理和社会信息分析能提升对客户了解。对大数据二次开发则是那些成功网络企业长项。比如Facebook经过结合大量用户信息，定制出高度个性化用户体验，并创造出一个新广告模式。这种经过大数据创造出新产品和服务商业行为并非巧合，谷歌、雅虎、亚马逊和Facebook它们都是大数据时代创新者。

伴随云时代降临，大数据（Bigdata）也吸引了越来越多关注。《著云台》分析师团体认为，大数据（Bigdata）通惯用来形容一个企业创造大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联络到一起，因为实时大型数据集分析需要像MapReduce一样框架来向数十、数百或甚至数千电脑分配工作。

从某种程度上说，大数据是数据分析前沿技术。简言之，从各种各样类型数据中，快速取得有价值信息能力，就是大数据技术。明白这一点至关主要，也正是这一点促使该技术具备走向众多企业潜力。

大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。现在人们谈论最多是大数据技术和大数据应用。工程和科学问题还未被重视。大数据工程指大数据规划建设运行管理系统工程；大数