模式识别特征选择和提取.ppt

K-L变换的数据压缩图解取2x1变换矩阵U=[u1]，则x的K-L变换y为：

y=UTx=u1Tx=y1变换的能量损失为特征

提取第37页,共47页，星期六，2024年，5月K-L变换的产生矩阵数据集KN={xi}的K-L变换的产生矩阵由数据的二阶统计量决定，即K-L坐标系的基向量为某种基于数据x的二阶统计量的产生矩阵的本征向量K-L变换的产生矩阵可以有多种选择：x的相关函数矩阵R=E[xxT]x的协方差矩阵C=E[(x-μ)(x-μ)T]样本总类内离散度矩阵：特征

提取第38页,共47页，星期六，2024年，5月未知类别样本的K-L变换用总体样本的协方差矩阵C=E[(x-μ)(x-μ)T]

进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C的本征值的下降次序选择例：设一样本集的协方差矩阵是：

求最优2x1特征提取器U

解答：计算特征值及特征向量[V,D]=eig(C);

特征值D=[24.736,2.263]T,特征向量:

由于λ1λ2，故最优2x1特征提取器

此时的K-L变换式为：特征

提取第39页,共47页，星期六，2024年，5月7.3离散K-L变换5.3.1[离散的有限K-L展开][展开式的形式]如果对c种模式类别{?i}i=1,…,c做离散正交展开，则对每一模式可分别写成：xi=?ai，其中矩阵?取决于所选用的正交函数。对各个模式类别，正交函数都是相同的，但其展开系数向量ai则因类别的不同模式分布而异。[K-L展开式的性质]K-L展开式的根本性质是将随机向量x展开为另一组正交向量?j的线性和，且其展开式系数aj（即系数向量a的各个分量）具有不同的性质。[在此条件下，正交向量集{?j}的确定][K-L展开式系数的计算步骤]第40页,共47页，星期六，2024年，5月7.3离散K-L变换5.3.2[按K-L展开式选择特征]K-L展开式用于特征选择相当于一种线性变换。若从K个特征向量中取出m个组成变换矩阵?，即 ?=(?1?2…?m)，mK 此时，?是一个n*m维矩阵，x是n维向量，经过?Tx变换，即得到降维为m的新向量。[选取变换矩阵?，使得降维后的新向量在最小均方差条件下接近原来的向量x]第41页,共47页，星期六，2024年，5月7.3离散K-L变换5.3.2[按K-L展开式选择特征]结论从K-L展开式的性质和按最小均方差的准则来选择特征，应使E[aj]=0。由于E[a]=E[?Tx]=?TE[x]，故应使E[x]=0。基于这一条件，在将整体模式进行K-L变换之前，应先将其均值作为新坐标轴的原点，采用协方差矩阵C或自相关矩阵R来计算特征值。如果E[x]0，则只能得到“次最佳”的结果。第42页,共47页，星期六，2024年，5月7.3离散K-L变换5.3.2[按K-L展开式选择特征]结论将K-L展开式系数aj（亦即变换后的特征）用yj表示，写成向量形式：y=?Tx。此时变换矩阵?用m个特征向量组成。为使误差最小，不采用的特征向量，其对应的特征值应尽可能小。因此，将特征值按大小次序标号，即 ?1?2…?m…?n=0 若首先采用前面的m个特征向量，便可使变换误差最小。此时的变换矩阵为第43页,共47页，星期六，2024年，5月7.3离散K-L变换5.3.2[按K-L展开式选择特征]结论K-L变换是在均方误差最小的意义下获得数据压缩的最佳变换，且不受模式分布的限制。对于一种类别的模式特征提取，它不存在特征分类问题，只是实现用低维的m个特征来表示原来高维的n个特征，使其误差最小，亦即使其整个模式分布结构尽可能保持不变。第44页,共47页，星期六，2024年，5月7.3离散K-L变换5.3.2[按K-L展开式选择特征]结论通过K-L变换能获得互不相关的新特征。若采用较大特征值对应的特征向量组成变换矩阵，则能对应地保留原模式中方差最大的特征成分，所以K-L变换起到了减小相关性、突出差异性的效果。在此情况下，K-L变换也称为主成分变换。第45页,共47页，星期六，2024年，5月7.3离散K-L变换5.3.2[按K-L展开式选择特征][K-L变换实例]原始模式分布特征提取第46页,共47页，星期六，2024年，5月作业设有如下两类样本集，其出现的概率相等： ω1：{(000)T,(100)T, (101)T,(110)T} ω2：{(001)T,(010)T, (011)T,(111)T} 用K-L变换