物联网技术概论2016.PPT

(推荐阅读清华大学出版社桂小林主编的《物联网技术导论》 桂小林 * 桂小林 * * 物联网技术概论 (第6章) 西安交通大学 桂小林 西安交通大学电子与信息工程学院 计算机科学与技术系 2016.04.16 桂小林 * 推荐阅读 桂小林 * 课程内容 物联网概论 物联网体系结构 传感器技术 标识与定位技术 物联网通信技术 物联网数据处理技术 物联网的典型应用 桂小林 * 桂小林 * 桂小林 * 第6部分 物联网数据处理 桂小林 桂小林 * 6.1 物联网数据的特点 1.数据的多态性、异构性 2.数据的海量性 3.关联性及语义性 物联网时代---大数据时代 由于物联网，我们进行大数据时代（web2.0时代），人们从信息的被动接受者变成了主动创造者。 数据狂奔 数据狂奔 桂小林 * 6.2 海量感知数据的挖掘与分析 数据管理层是位于感知识别和网络构建层之上、应用层之下，体现物联网智慧的关键一层。 如智能电网、智能交通、智能医疗等。 ?这一层主要解决数据的储存、数据检索、数据使用、数据安全和隐私保护等主要问题。 桂小林 * 6.3 海量数据存储 海量数据存储是物联网技术的一个重要组成部分。 本节将主要从基于文件的存储和基于记录的存储两方面介绍物联网系统中的海量数据存储技术。 桂小林 * 6.3.1 基于文件的数据存储技术 MapReduce是Google公司工程师Jeffrey Dean提出的处理大规模数据集（大于1TB）的分布式并行计算编程模型，是Google云计算的核心技术 HDFS（Hadoop Distributed File System）是一种高度容错的分布式文件系统模型，由Java语言开发实现。HDFS可以部署在任何支持Java运行环境的普通机器或虚拟机上，而且能够提供高吞入量的数据访问。 桂小林 * HDFS 桂小林 * HDFS尽量读取客户机距离最近的节点副本，以降低读取时延。 数据副本策略： 桂小林 * Map/Reduce计算模型 Map/Reduce是Google公司工程师Jeffrey Dean提出的处理大规模数据集（大于1TB）的分布式并行计算编程模型，是Google云计算的核心技术，概念“Map（映射）”、“Reduce（规约）”和其主要思想借鉴于函数式编程语言和矢量编程语言。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 Map/Reduce运行时模型 Map/Reduce实例 桂小林 * 6.3.2 数据库存储技术 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，它产生于距今五十年前，随着信息技术和市场的发展，特别是二十世纪九十年代以后，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各种数据管理的方式。 数据库有很多种类型，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。 发展历程 ⒈ 1970：E.F. Codd 发表了关系数据库理论（relational database theory）； ⒉ 1974-79：IBM 以Codd的理论为基础开发了“Sequel”，并重命名为结构化查询语言； ⒊ 1979：Oracle发布了商业版结构化查询语言； ⒋ 1981-84：出现了其他商业版本，分别来自IBM(DB2），Data General，Relational Technology(INGRES）； ⒌ 结构化查询语言/86：ANSI跟ISO的第一个标准； ⒍ 结构化查询语言/89：增加了引用完整性（referential integrity）； ⒎ 结构化查询语言/92(aka 结构化查询语言2）：被数据库管理系统（DBMS）生产商广泛接受； ⒏ 1997+：成为动态网站（Dynamic web content）的后台支持； ⒐ 结构化查询语言/2003：包含了XML相关内容，自动生成列值（column values）； ⒑ 结构化查询语言/2006：定义了结构化查询语言与XML（包含XQuery）的关联应用； ⒒ 2006：Sun公司将以结构化查询语言基础的数据库管理系统嵌入JavaV6。 桂小林 * 1976年IBM E.F.Codd发表了一篇里程碑的论文“R系统：数据库关系理论”，介绍了关系数据库理论和查询语言SQL 。 结构化查询语言(Structured Query Language)简称SQL， SQL是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。 SQL是高级的非过程化编程语言，允许用户在高层数据结构上工作。不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统,