大数据技术及应用.pdf

大数据技术及应用

人类的认知与实践始终伴随着数据的积累与应用。

大数据的背后实质是行业跨界、重叠的特点，客观世界的数字化映

像，在有限的数据空间下寻找规律。

大数据沉淀的是行业的知识库，营造了数据意识，构建了数据环境，

实践了数据价值（商业、行业、政府）。

客观世界特征：活动性、变化性、联系的、规律的；

大数据思维：根据相关数据特征思考问题；

数据的特点：噪声稀疏、局部、离散、随机，互联网普及当下的信

息环境变化，利用数据还原场景，间接推测用户的需求。

IT时代：提高效率；

大数据时代：影响生活；

大数据实践的反思：

1、数据环境基础薄弱

2、数据应用成都粗浅

3、数据资源开发体系尚未形成

OLAP

大数据与数据仓库、联机分析处理（）、数据挖掘技术的关

系：

大数据的特征：大数据不仅仅是数据的“大量化”，而是包含“快速

化”、“多样化”和“价值化”等多重属性。

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据

存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据

可视化、大数据应用、大数据安全等）

大数据采集技术：

1、大数据智能感知层：主要包括数据传感体系、网络通信体系、传感

适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构

化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转

换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感

知、适配、传输、接入等技术。

2、基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半

结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克

分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化

接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。

大数据预处理技术：主要完成对已接收数据的辨析、抽取、清洗等操

作。

1、抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以

帮助我们将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速

分析处理的目的。

2、清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关

心的内容，而另一些数据则是完全错误的干扰项，因此要对数据通过过滤

“去噪”从而提取出有效数据。

大数据存储及管理技术：大数据存储与管理要用存储器把采集到的数

据存储起来，建立相应的数据库，并进行管理和调用

1DFS

、开发可靠的分布式文件系统（）、能效优化的存储、计算融入

存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非关系

型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研究

大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技

术；开发大数据可视化技术。

2、开发新型数据库技术，数据库分为关系型数据库、非关系型数据库

NoSQL

（数据库）以及数据库缓存系统。

3、开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控

制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数

据持有完整性验证等技术。

大数据分析及挖掘技术：大数据分析技术：改进已有数据挖掘和机器

学习技术；数据挖掘：就是从大量的、不完全的、有噪声的、模糊的、随机

的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有

用的信息和知识的过程。

1、可视化分析。数据可视化无论对于普通用户或是数据分析专家，都

是最基本的功能。数据图像化可以让数据自己说话，让用户直观的感受到结

果。

2、数据挖掘算法。图像化是将机器语言翻译给人看，而数据挖掘就是

机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们

精炼数据，挖掘价值。这些算法一定要能够应付大数据的量，同时还具有很

高的处理速度。

3、预测性分析。预测