大数据时代，要了解大数据数据分析师CPDA.pdf

大数据时代，要了解大数据数据分析师CPDA

什么是大数据

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、

管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，

快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行

处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布式数据

库，云计算平台，互联网，和可扩展的存储系统。

定义

对于“大数据”（Bigdata）研究机构Gartner给出了这样的定

义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现

力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、

管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，

具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度

低四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这

些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一

种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能

力”，通过“加工”实现数据的“增值”。

从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样

密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布

式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依

托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。[2]

随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关

注。分析师团队认为，大数据（Bigdata）通常用来形容一个公司创

造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数

据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系

到一起，因为实时的大型数据集分析需要像MapReduce一样的框架

来向数十、数百或甚至数千的电脑分配工作。

大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的

数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、

数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和

可扩展的存储系统。

大数据的特点

具体来说，大数据具有4个基本特征：

一是数据体量巨大。百度资料表明，其新首页导航每天需要提供

的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5

千亿张A4纸。有资料证实，到目前为止，人类生产的所有印刷材料的

数据量仅为200PB。

二是数据类型多样。现在的数据类型不仅是文本形式，更多的是

图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝

对多数。

三是处理速度快。数据处理遵循“1秒定律”，可从各种类型的数

据中快速获得高价值的信息。

四是价值密度低。以视频为例，一小时的视频，在不间断的监控

过程中，可能有用的数据仅仅只有一两秒。

大数据的作用

第一，对大数据的处理分析正成为新一代信息技术融合应用的结

点。移动互联网、物联网、社交网络、数字家庭、电子商务等是新一

代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海

量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管

理、处理、分析与优化，将结果反馈到上述应用中，将创造出巨大的

经济和社会价值。

大数据具有催生社会变革的能量。但释放这种能量，需要严谨的

数据治理、富有洞见的数据分析和激发管理创新的环境(Ramayya

Krishnan,卡内基·梅隆大学海因兹学院院长)。

第二，大数据是信息产业持续高速增长的新引擎。面向大数据市

场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设

备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化

数据存储处理服务器、内存计算等市场。在软件与服务领域，大数据

将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

第三，大数据利用将成为提高核心竞争力的关键因素。各行各业

的决策正在从“业务驱动”转变“数据驱动”。

对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；

可以为商家制定更加精准有效的营销策略提供决策支持；可以帮助企

业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断

准