物联网感知大数据的存储与处理.pdf

视点 第 10 卷  第 1 期  2014 年 1 月 物联网感知大数据的 存储与处理 丁治明　刘奎恩 关键词 ：大数据　物理信息感知　存储与处理技术 中国科学院软件研究所 大型物联网系统中数亿、数十亿个传感设备 （如 术将关系数据库 （包括并行数据库）运行于云计算等 传感器、多媒体采集设备、遥感设施等）在不断地 大数据环境，但是由于存在输入/ 输出(I/O) 瓶颈及 感知动态变化的物理世界，并通过各类移动通讯设 并发事务处理效率等方面的问题，比如在数据库管 备、计算机与互联网连接和整合，共同构成了人类 理系统一级进行并行化/ 虚拟化的效率远低于在文 未来的信息网络，最终将形成人—机—物三元融合的 件存储一级的并行化效率 （即，使用云计算、大数 信息世界。据预测，三元融合世界带来的信息量将 据存储所提供的并行存储能力，如谷歌文件系统）， 远远超过现有人类社会的信息。物联网的感知数据 因此这种虚拟化技术并不完全适用。虽然较好的云 是典型的大数据，具备5V1 的全部特征。同时，伴 计算关系数据库平台 （如Window s Azure 和Sim - 随着物联网数据规模的爆炸式增长，数据的获取方 pleDB ）均针对云环境对底层存储进行了专门的设计， 式、表现形态、相互关系、存取速度和语义演化也 但是总体而言，这些工作侧重的仍然是提供将数据 会发生一系列根本变化，给目前的海量信息处理技 库管理系统作为服务(RDB -a-a-S) 的功能，在一定 术带来前所未有的挑战。 程度上回避了性能问题。 传统的数据管理技术已经难以满足物联网感知 如何满足物理信息感知中时空逻辑、科学计算、 大数据处理需求。例如，起源于20 世纪70 年代的 多模态实时分析处理的要求，对物联网、感知中国、 关系数据库采用了集中式设计，因此并不太适用于 智慧城市等大型应用的海量感知数据管理进行支 分布、并行环境。这种不足在对象数据库、对象关 持，已经成为云计算技术发展的必然趋势。针对云 系数据库中也同样存在。直到最近几年，随着云计 计算技术目前的研究现状和核心问题，本文将重点 算键—值模型的提出以及列存储系统的产生，海量 分析云计算在海量物理信息感知数据管理方面所面 数据处理技术才有了显著进步。 临的挑战，提出基于海—云计算模型的大数据存储 作为海量信息处理的主流技术之一，云计算数 与分析方案，并介绍软件系统及其实现。 据处理技术方兴未艾，但在物联网感知大数据管理上 还存在诸多局限性。目前，云计算的大部分研究工作 大数据环境下数据库技术及其 集中在软硬件架构、网络和服务模式层面，大多数现 局限性 有方案局限于关键词处理。还有些工作通过虚拟化技 1 指体量(volume)、速度(velocity)、多样性(variety)、真实性(veracity)和价值(value)。 60 第 10 卷  第 1 期  2014 年 1 月 大数据对整个信息技术产业格局产生了深远影 云计算环境。尤其是关系数据库存在着可伸缩性问 响，诸多巨头企业 （如谷歌、微软、IBM 、亚马逊等） 题，比如当节点规模足够大时，关系数据库中的一 加入了大数据研发大军，并形成许多基于互联网的 致性、完整性等约束会极大地降低数据库性能。此 大数据技术与服务平台。然而，现有大数据环境下 外，传统的加锁机制也难以适用于分布式并行环境， 数据库技术仍存在很多局限性。 甚至连原关系型数据库的最大优势——j oin 功能也 大数据技术的核心思想是通过屏蔽各类主机硬 成为了云计算环境下的性能瓶颈。因此，将关系数 件及数据的差异，实现计算设备及数据的统一处理； 据库 （包括并行数据库）不加修改地搬到云计算环 采用分布式并行计算技术，实现用户任务在