大数据管理与应用 课件 第一章 绪论.pptx

第一章绪论大数据管理与应用——

随着新一代信息技术的不断发展，数据在人们的生活中起到愈来愈重要的作用，人类社会已经进入大数据时代。大数据时代产生了许多基于海量数据挖掘和分析的新模式，大数据及其相关技术对政治、经济以及文化领域产生了重要影响，人们的思维和决策方式同样也迎来了巨大变革。在本章中您将了解大数据时代的主要背景，掌握数据和大数据的概念及其特征，并了解大数据管理和应用，理解大数据管理与应用的理论、技术和应用体系。大数据时代数据和大数据大数据管理与应用概述大数据管理与应用的理论、技术和应用体系第一章绪论

01大数据时代02数据和大数据03大数据的管理与应用概述04大数据管理与应用的理论技术和应用体系

云计算、物联网和移动互联网、社交媒体等新型信息技术和应用模式快速发展，信息技术与人类世界的各个领域相互渗透，不断融合，数据成为人类生产活动必不可少的一部分。人类社会已经迈入一个新的时代——大数据时代。麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。如今，大数据及其相关技术受到媒体、政府以及各个行业领域的高度关注数据正在迅速膨胀，它决定着许多传统行业的未来。根据国际权威机构Statista的预测，到2035年，全球数据产生量将达到2142ZB，全球数据量的规模将会爆发式增长。互联网数据并非单纯指互联网上存在的数据，还包括一些信息采集设备上传的数据。大数据相关技术让大量的数据成为了新的重要生产要素，它通过技术的创新与发展以及数据的全面感知、收集、分析、共享，使人们更多地基于事实与数据做出决策。社会不再仅仅依赖经验和惯性思维进行管理和运作，遵循数据的管理和运作模式逐渐成为社会主流。1.1大数据时代的背景

大数据时代的思维变革从数据分析的角度来说，要完成从“小样本”到“整体”的转变，要分析与某事物相关的所有数据，而不是依靠分析少量的数据样本。关于数据的质量，数据精确性不再是唯一标准，多样化、异构的数据同样值得分析和处理。在思维上需要产生转变，不再探求难以捉摸的因果关系，转而关注事物的相关关系。大数据时代的商业变革大数据同样对企业竞争力甚至是行业结构产生了巨大影响，大数据时代的数据将会成为企业核心竞争力的重要组成部分。大数据时代的管理变革我们需要全新的制度规范，而不是修改原有规范的适用范围1.2大数据时代的巨大变革

数据概念数据是指以定性或者定量的方式来描述事物的符号记录，是可定义为有意义的实体，它涉及事物的存在形式。数据模型按照应用层次和建模目的，数据模型分为三种基本类型：概念数据模型﹑逻辑数据模型和物理数据模型。需要注意数据模型的层次性。不同层次的数据模型之间存在一定的对应关系，可以进行相互转换2.1数据图1-1数据模型的层次

数据维度可以从三个不同维度分析数据类型及其特征。从数据的结构化程度看，可以分为：结构化数据，半结构化数据和非结构化数据三种。2.1数据表1-1结构化数据、半结构化数据与非结构化数据的区别与联系类型含义本质举例结构化数据直接可以用传统关系数据库存储和管理的数据先有结构，后有数据关系型数据库中的数据非结构化数据无法用关系数据库存储和管理的数据没有（或难以发现）统—结构的数据语音、图像文件等半结构化数据经过一定转换处理后可以用关系数据库存储和管理的数据先有数据，后有结构（或较容易发现其结构）HTML、XML文件等

从数据的加工程度看，分为：零次数据、一次数据、二次数据和三次数据。从数据的抽象或封装程度看，可分为：数据、元数据和数据。对象三个层次2.1数据图1-2数据的加工程度图1-3数据的封装数据特征：数据不为人类所控制、数据具有未知性及数据具有多样性和复杂性。

大数据概念大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。（权威研究机构Gartner）大数据，或称巨量资料，指的是所涉及的数据量规模巨大到无法通过人工在合理时间内截取、管理、处理，并整理成为人类所能解读的信息。（维基百科）用四个特征来描述大数据，即规模性（Volume）、高速性（Velocity）、多样性（Variety）和真实性（Veracity），这些特征相结合，定义了IBM所称的“大数据”。（IBM）大数据是一类能够反映物质世界和精神世界的运动状态和状态变化的信息资源，它具有决策有用性、安全危害性以及海量性、异构性、增长性、复杂性和可重复开采性，一般都具有多种潜在价值。(管理的角度）2.2大数据

大数据特征Volume（规模性）当数据量达到PB级以上，一般称为“大”的数据。Variety（多样性）数据多样性是指大数据存在多种类型的数据，不仅包括结构化数据，还包括非结构化数据和半结构化数据。Value（价值密度低）在大数据中，价值密度的高低与