信息技术（Windows 10+Office 2016）：新一代信息技术PPT教学课件.pptx

;;;;大数据的诞生背景和发展前景;大数据概述

1.大数据的定义

大数据本身是一个抽象的概念，在业内还没有统一的定义。大数据的研究机构Gartner给出的定义是：大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

在维基百科中对大数据的定义是：大数据，又称巨量资料，指的是传统数据处理引用软件不足以处理它们的大或复杂的数据集的术语。

麦肯锡全球研究所对大数据的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。;大数据中“大”的界定范畴是动态的，从前的GB（1GB=1024MB）就是数据类型的巨大范畴，但是大数据出现后，在物理、基因等很多领域，TB（1TB=1024GB）级的数据已经很普遍，更有PB（1PB=1024TB）级，甚至EB（1EB=1024PB）级也不罕见。

2.大数据的类型结构

大数据的数据类型繁多，互联网作为大数据的主要来源，包含各种数据源，如声音和电影文件、文档、网络日记、元数据、E-mail、表格数据、图像、地理定位数据、文本书籍等。其主要分为结构化数据、半结构化数据和非结构化数据。因此，数据量的不断增长及数据类型的多样化都给大数据系统的存储和计算带来了不小的挑战。;1）结构化数据

结构化数据指能够用数据或统一的结构加以表示，包括预定义的数据类型、格式和结构的数据。常见的如Excel中的信息数据，企业用的人事系统、财务系统、ERP等中的数据等。

2）半结构化数据

半结构化数据就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构化数据（如声音、图像文件等）之间的数据，如电子邮件、用Windows处理的文字、在网上看到的新闻等。

3）非结构化数据

非结构化数据是指没有固定结构的数据，通常保存为不同类型文件的数据，如移动终端、社交网络产生的声音、图像、影像、留言、日志数据等信息。;3.大数据的特征

大数据通常被定义为具有4个特征，即volume、variety、velocity和value，这4项特征称???大数据的4V特征。

1）volume（大容量）

数据的体量决定了其背后的信息价值，随着各种移动端的流行和云存储技术的发展，现代社会的人类活动都可以被记录下来，因此产生了海量的数据。发送的微博、自拍的照片、戴的运动手环等包含的数据信息通过互联网上传到云端，各种数据聚集到特定地点的存储系统，如政府机构等，形成了体量巨大的数据。日志数据等信息。

2）variety（多样化）

数据多样性的增加主要是新型多结构数据，以及包括网络日志、社交媒体、互联网有哪些信誉好的足球投注网站、手机通话记录及传感器网络等数据类型造成的。;3）velocity（高速性）

高速性描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速计算机处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。

4）value（价值密度低）

大数据的应用在物联网、云计算、大数据挖掘等技术迅速发展的带动下，呈现出它的完整过程：把数据源的信号转换为数据，再把大数据加工成信息，通过获取的信息做决策。因此，大数据价值的挖掘过程就像大浪淘沙，数据的体量越大，相对有价值的数据就越少。大数据的价值密度实际是比较低的，因为数据采集并非都是及时的，样本的数量有限，数据不完全连续。但是，当数据的体量越来越大时，就能从海量数据中心提取有价值的信息，为决策提供支撑。;注意：对于大数据的特征，有几种不同的观点。起初，IBM公司提出大数据具有“5V特征”，即volume（大容量）、variety（多样化）、velocity（高速性）、value（价值密度低）和veracity（真实性）。但由于互联网信息的繁多冗杂，无法分辨真假的信息日益增多，如刷单现象、建设虚假店铺，所以这类操作产生的数据具有不可靠性，veracity（真实性）这一特性不再是大数据的特征之一。;大数据本身是一种现象而不是一种技术。大数据技术是一系列使用非传统的工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的数据处理技术。根据大数据的处理过程，可将大数据关键技术分为大数据采集技术、大数据预处理技术、大数据存储及管理技术、大数据处理技术、大数据分析及挖掘技术、大数据展示技术等。;1.大数据采集技术

大数据采集技术是指通过射频识别数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、半结构化及非结构化的海量数据。

1）大数据的来源

一般大数据的来源可以分为3种，即平台自