大数据关键技术.pdfVIP

大数据关键技术

大数据技术，就是从各种类型的数据中快速获得有价值信息的技

术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、

存储、处理和呈现的有力武器。

大数据处理关键技术一般包括：大数据采集、大数据预处理、大

数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检

索、大数据可视化、大数据应用、大数据安全等）。

一、大数据采集技术

数据是指通过RFID射频数据、传感器数据、社交网络交互数据及

移动互联网数据等方式获得的各种类型的结构化、半结构化（或称之

为弱结构化）及非结构化的海量数据，是大数据知识服务模型的根本。

重点要突破分布式高速高可靠数据爬取或采集、高速数据全映

1/5

像等大数据收集技术；突破高速数据解析、转换与装载等大数

据整合技术；设计质量评估模型，开发数据质量技术。

大数据采集一般分为大数据智能感知层：主要包括数据传感体

系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入

系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、

定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必

须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技

术。基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、

半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。

重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决

策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐

私保护技术等。

二、大数据预处理技术

主要完成对已接收数据的辨析、抽取、清洗等操作。1）抽取：

因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们

将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分

析处理的目的。2）清洗：对于大数据，并不全是有价值的，有些数

据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，

因此要对数据通过过滤“去噪”从而提取出有效数据。

三、大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相

应的数据库，并进行管理和调用。重点解决复杂结构化、半结构化和

2/5

非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、

可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文

件系统（DFS）、能效优化的存储、计算融入存储、大数据的去

冗余及高效低成本的大数据存储技术；突破分布式非关系型大数

据管理与处理技术，异构数据的数据融合技术，数据组织技术，

研究大数据建模技术；突破大数据索引技术；突破大数据移动、

备份、复制等技术；开发大数据可视化技术。

开发新型数据库技术，数据库分为关系型数据库、非关系型数据

库以及数据库缓存系统。其中，非关系型数据库主要指的是NoSQL数

据库，分为：键值数据库、列存数据库、图存数据库以及文档数据库

等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据

库。

开发大数据安全技术。改进数据销毁、透明加解密、分布

式访问控制、数据审计等技术；突破隐私保护和推理控制、数

据真伪识别和取证、数据持有完整性验证等技术。

四、大数据分析及挖掘技术

大数据分析技术。改进已有数据挖掘和机器学习技术；开

发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；

突破基于对象的数据连接、相似性连接等大数据融合技术；突

破用户兴趣分析、网络行为分析、情感语义分析等面向领域的

大数据挖掘技术。

3/5

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的

实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜

在有用的信息和知识的过程。数据挖掘涉及的技术方法很多，有多种

分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、

关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋

势发现等等；根据挖掘对象可分为关系数据库、面向对象数据库、空

间数据库、时态数据库、文本数据源、多媒体数据库、异质数据库、

遗产数据库以及环球网Web；根据挖掘方法分，可粗分为:机器学习

方法、统计方法、神经网络方法和数据库方法。机器学习中，可细分

为:归纳学习方法(决策树、