无线传感器海量数据处理.doc

WSN海量数据处理读书报告 杨立 摘 要：目前对无线传感器网络中的海量数据处理的研究大致分为基于海量数据的研究、基于数据处理的研究以及最终的分类识别。在数据处理层面，人们主要的研究方向是对数据的特征提取与选择，数据的融合技术。最终的分类识别着重关注对特征进行分类识别或对特征进行组合建模后分类识别以达到最终的判定。而在对无线传感器网络所产生的海量数据的研究中，人们主要对数据流与海量数据的存储做了深入细致的研究。本文通过对近年来WSN数据处理相关文献的研读对其海量数据处理的整个过程进行了一个系统的概述。 关键词 ：特征提取与选择 数据融合 WSN 流数据 模式识别 0 引 言 传感器网络中不论是传感器的数量还是类型都是多种多样的，它包括目标的探测、数据关联、跟踪识别、情况评估与预测几个层面。目前对无线传感器网络中的海量数据处理的研究大致分为基于海量数据的研究、基于数据处理的研究以及最终的分类识别。在数据处理层面，人们主要的研究方向是对数据的特征提取与选择，数据的融合技术。最终的分类识别着重关注对特征进行分类识别或对特征进行组合建模后分类识别以达到最终的判定。而在对无线传感器网络所产生的海量数据的研究中，人们主要对数据流与海量数据的存储做了深入细致的研究。 1 数据处理 在数据处理层面上主要分为两部分，首先是对数据进行特征的提取与选择。这里的特征是对于不同信号来说的。在无线传感器网络中，其各类传感器所产生的信号类型也是多种多样的。因此对不同类型的信号分别进行特征的提取与选择就显得尤为重要了。其分析了各种特征的有效性并选出最有代表性的特征。这些特征有效地降低了特征空间的维度。其次是对数据的融合，无线传感器网络信息采集的过程中，会产生大量的冗余信息。为了使大量的通信带宽和宝贵的能量资源ANSYS／KS—DYNA模拟得到拉索损伤声发射信号的仿真信号，从小波包分解层次、特征频带数量的选择及特征参数的噪声鲁棒性三个方面开展了讨论分析。小波包能量谱的特征参数具有较强的损伤类型敏感性及噪声鲁棒性，当选取合适的小波包分解层次时，可以在强噪声影响下实现对拉索不同损伤类型的判别。对于非平稳性、非线性过程的信号处理，文献[2]中提出一种基于经验模态分解的目标特征提取与选择方法，可以自适应地将信号的局部特征逐级分解出来。将本征模态函数IMF分量及其瞬时频率作为特征,并选择其判别熵作为特征向量的可分性度量。与小波变换相比IMF不需要预先设定基函数，可根据信号自身的特征进行分解，具有自适应性，所得的本征模态分量突出了数据的局部特征，非常适用于非平稳性G非线性过程的信号处理中。文献[3]中提出了使用功率谱二次处理对地震信号进行特征提取的方法。将经典的语音特征处理算法根据地震信号的特点进行有针对性的改进，通过对信号的功率谱进行二次处理, 实现了对信号功率谱及频率的同时检测。文献[4]提出了利用最大熵AR—Burg功率谱估计法对进入无线传感器网络区域中的车辆信号进行谱特征提取，具有很强的可操操作性、可重复性和参考性。文献[5] 针对探地雷达的回波信号具有非平稳特征 为实现非平稳信号的检测和分类采用了二进小波变换主分量分析与Fisher 线性判别分析和前馈多层感知器分类器分别对探地雷达回波信号进行小波分解去相关与特征选择和分类，其克服了基于Fourier 变换的分析方法对非平稳信号进行特征提取时会平滑了非平稳信号的局部特征从而导致其分类效果不佳的缺点，取得了一定的效果。文献[6]在研究地面目标声震信号识别过程中提出基于局域判别(Local Discriminant Bases，LDB)算法的特征提取方法。并且，针对现有的基于时频能量图的可分性测度的缺点，提出新的基于概率密度估计的相对微分熵的可分性测度在一定程度上提高了目标的正确识别率，降低了特征维数。文献[7]在研究应用最优小波包变换的特征提取方法的过程中提出了应用三种可分性准则，即距离准则，散度准则和熵准则选择最优基。三种可分性准则比较而言，距离准则简单直观，散度准则更适用于正态分布模式，当模式类别具有同样的均值时可使用熵准则，并且使用这些准则只需根据训练样本集计算模式的两个重要统计量，即均值和方差.但为获得较稳定的特征，需较大的训练样本集。 1.1.2特征选择 特征选择就是通过消除冗余、不相关及被噪声污染的特征，从而达到降低特征空间维数的目的。它实际上就是从一个原始的特征集合中选取一个特征子集的过程。有时是采用某种变换技术，得出数目比原来少的综合性特征用于分类，这称为特征维数压缩。特征选择的过程如图1所示，首先从原始特征集合中选出一个特征子集，然后通过评价函数对其进行评价，若满足特征子集停止迭代的要求即停止，否则产生新的特征子集继续迭代。特征的选择主要分为两个方面，一是特征选择的标准，二是特征子