红外与近红外光谱常用数据处理算法.doc

数据预解决

中心化变换

归一化解决

正规化解决

标准正态变量校正（标准化解决）（StandardNormalVariate,SNV）

数字平滑与滤波（Smooth）

导数解决（Derivative）

多元散射校正（MultiplicativeScatterCorrection,MSC）

正交信号校正（OSC）

特性的提取与压缩

主成分分析（PCA）

马氏距离

模式辨认（定性分类）

基于fisher意义下的线性判别分析（LDA）

K-最邻近法（KNN）

模型分类方法（SIMCA）

支持向量机（SVM）

自适应boosting方法（Adaboost）

回归分析（定量分析）

主成分回归（PCR）

偏最小二乘法回归（PLS）

支持向量机回归（SVR）

数据预解决

中心化变换

中心化变换的目的是在于改变数据相对于坐标轴的位置。一般都是希望数据集的均值与坐标轴的原点重合。若xik表达第i个样本的第k个测量数据，很明显这个数据处在数据矩阵中的第i行第k列。中心化变换就是从数据矩阵中的每一个元素中减去该元素所在元素所在列的均值的运算：

，其中是n个样本的均值。

(2)归一化解决

归一化解决的目的是是数据集中各数据向量具有相同的长度，一般为单位长度。其公式为：

归一化解决能有效去除由于测量值大小不同所导致的数据集的方差，但是也也许会丢失重要的方差。

（3）正规化解决

正规化解决是数据点充满数据空间，常用的正规化解决为区间正规化解决。其解决方法是以原始数据集中的各元素减去所在列的最小值，再除以该列的极差。

该方法可以将量纲不同，范围不同的各种变量表达为值均在0~1范围内的数据。但这种方法对界外值很敏感，若存在界外值，则解决后的所有数据近乎相等。

标准化解决（SNV）也称标准正态变量校正

该解决能去除由单位不同所引起的不引人注意的权重，但这种方法对界外点不像区间正规化那样的敏感。标准化解决也称方差归一化。它是将原始数据集各个元素减去该元素所在列的元素的均值再除以该列元素的标准差。

数字平滑与滤波

数字平滑与滤波的目的在于消除随机误差与仪器的噪声，它是一种最简朴的滤波方法。平滑的实质是略去数据中较小的偏离，而保存具有较大偏离的部分。

设滤波值为，原始信号值为，两者间的关系如下：

式中，k为原始数据点的序号，2m+1表达窗口（滤波带宽）的大小，m为调节滤波带宽的参数。随着窗口的移动，即得到通过滤波后的7一系列信号值。滤波使数据的噪声减小，但在实际应用过程中应慎重选择滤波带宽，否则会扭曲数据结构。

导数解决

多元散射校正（msc）

由于样品的不均匀性（粒度分布）常导致所测的样品光谱具有很大的差异性，不同批号的同同样品所测的光谱从表面看，也也许有很大的差异。在许多情况下，散射引起的光谱变化也许要大于样品成分引起光谱的变化。散射的限度与光的波长、颗粒度和样品的折射指数等有关，因此在整个光谱范围内，散射的强度是不同的，通常表现为基线的平移、旋转、二次和高次曲线。

MSC是由Geladi等人提出的，目的是校正每个光谱的散射并获得较抱负的光谱。MSC法假定与波长有关的散射对光谱的奉献和成分的奉献是不同的，理论上，通过光谱上许多点的数据分析，可以把这两部分分开。MSC方法认为每一条光谱都应当与“抱负”光谱成线性关系，而真正的“抱负”光谱无法得到，可以用校正集的平均光谱来近似。因此每个样品的任意波长点下反射吸光度值与其平均光谱的相应吸光度的光谱是近似线性关系，直线的截距和斜率可由光谱集线性回归获得，并用以校正每条光谱，截距（即附加效应）大小反映样品

独特反射作用，而斜率大小则反映样品的均匀性。

二、特性的提取与压缩

（1）主成分分析（PCA）

又称抽象因子分析，主成分分析是把本来多个变量划为少数几个综合指标的一种记录分析方法，从数学角度来看，这是一种降维解决技术。

思想：运用降维的思想，把多指标转化为少数几个综合指标。在研究多变量问题时，变量太多会增大计算量和增长分析问题的复杂性，人们自然希望在进行定量分析的过程中涉及的变量较少，而得到的信息量又较多。主成分分析是解决这一问题的抱负工具。（重要分析众多变量之间的相关性）

1.1主成分分析计算环节

=1\*GB3①计算相关系数矩阵

（1）

在（3.5.3）式中，rij（i，j=1，2，…，p）为原变量的xi与xj之间的相关系数，其计算公式为

（2）

由于R是实对称矩阵（即rij=rji），所以只需计算上三角元素或下三角元素即可。

=2\*GB3②计算特性值与特性向量

一方面解特性方程，通常用雅可比法（Jacobi）求出特性值，并使其按大小顺序排