IOT数据处理课程总结.docx

物联网数据处理 从基本概念、问题以及解决基本方法和过程几个方面掌握课程所学知识。要点如下所述。 一、物联网数据处理 （一）数据融合 1、基本概念 数据融合的定义：数据融合是利用计算机技术对时序获得的若干感知数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。 数据融合方法：随机的有加权平均、卡尔曼滤波法、多贝叶斯估计、D-S证据推理、产生式规则等；智能的包括模糊逻辑理论、神经网络、粗糙集理论、专家系统等。 数据融合方式分类： 数据融合前后信息量分：无损融合（lossless aggregation）和有损融合 数据与应用层之间语义之间的关系分：依赖于应用和独立于应用的融合 融合操作的级别划分：数据级融合、特征级融合和决策级融合 2、LEARCH协议过程 LEACH算法把时间分成很多轮（round）,轮周期固定，分簇形成、稳定数据传输工作，一定时间后进入下一轮。 LEACH算法在一轮工作中大致分两步：成簇阶段和数据传输阶段。 成簇阶段：当需要建立簇时，每个节点自组织地决定在当前轮中自己是否成为簇头，这个决定取决于传感器网络预设的簇头比例和当前轮数。节点n通过产生一个0和1之间的随机数来决定，若此数小于阈值T（n），该节点成为其中的一个簇头，阈值T（n）如下方式计算： 每个成员选定簇头后通知相应簇头，对应簇头节点将其设置为簇内成员，每个节点同样用CSMA MAC协议把这个信息发回给簇头，在这段时间，所有簇头节点必须打开接收设备。 簇头节点接收到所有加入节点后，基于簇头内节点数量建立TDMA调度方案，告诉每个簇内节点发送信息的时间。到此刻，成簇阶段结束。 数据传输阶段 簇内成员根据分配给自己的TDMA时间片向簇头发送自己感知的数据，而其它时刻可以进入休眠状态，从而节省能量。 为避免相邻各簇之间的通信干扰，各簇之间都采用不同的CDMA码片。 当簇头接收到数据后，进行融合处理，再把数据传给基站。 3、数据融合的基本过程 （1）n个不同传感器收集观测目标数据； （2）对传感器的输出数据进行特征提取和变换，得到相应的特征矢量； （3）对特征矢量进行模式识别和处理，完成各传感器关于目标的说明，用到的识别方法可以是聚类算法，自适应神经网络方法等。 （4）将各传感器关于目标的说明数据按同一目标分组。 （5）利用融合算法将每一目标的各传感器数据进行合成，得到该目标的一致性解释。 （二）后台数据管理 1、基本概念 文件系统（HDFS）、数据库系统 2、简单SQL及数据库事务概念。 （三）数据仓库与数据挖掘 1、基本概念 数据仓库。 2、数据挖掘分析的简要过程 了解相关知识和应用目标 创建目标数据集，即选择数据 数据的清洗和预处理，一般来讲，此过程的工作量占整个数据挖掘过程的60% 数据的缩减与变换，进行维数增减、变量增减、不变量表示 选择数据挖掘方法，数据特征描述、分类模型、回归分析、关联分析等。 进行挖掘 进行评估利用 3、数据挖掘常用方法 （1）关联规则方法：定义事物相关联联系的规则，用以通过数据进行分类的方法。 （2）分类预测：数据分类用于发现数据的离散类别；预测用于发现连续性趋势。 （3）聚类分析：对不含标志的数据无法用分类方法处理的数据进行处理，基于数据进行分类，发现新的问题或规律。 （4）离群点分析：找出异常数据、小模式数据、孤立点数据，用于发现问题或未明确的规律。 二、物联网安全与隐私保护 讲述了安全与隐私保护的基本概念、方法和原理。 基本概念 对称密码机制，非对称密码机制、攻击、安全保护、安全保障、内容安全等 对称密码机制：对称密钥加密也叫秘密/专用密钥加密（Secret Key Encryption），即发送和接收数据的双方必须使用相同或加密密钥容易推出解密密钥的--对称的密钥对明文进行加密和解密运算。 非对称密码机制：非对称密钥加密也叫公开密钥加密（Public Key Encryption），是指每个人都有一对唯一对应的密钥：公开密钥和私有密钥，公钥对外公开，私钥由个人秘密保存；用其中一把密钥来加密，就只能用另一把密钥来解密。 监听攻击：由于信道的开放性，攻击者可以接收通信信号，并进行相应的协议解析，从而达到窃听信息的目的，属于被动攻击的一种，监听到的信息可以作为其他方式攻击的基础。 拥塞攻击：攻击者通过发送大量无意义的信息包，挤占带宽，造成正常通信拥塞，甚至不能通信的后果，属于主动攻击的一种形式。 篡改攻击：攻击者通过截取数据包或直接俘获设备，通过篡改数据达成破坏目的的一种攻击方式，属于主动攻击。 信息保护：通过划分明确的网络边界并在边界上阻止非法入侵，其技术原理是保护和隔离，通过保护和隔离达到真实、必威体育官网网址、完整和不可否认等安全目的。 信息保障：信息保障是比信息保护更宽泛的安全概念，不仅保护明确要