KL变换特征提取课件.ppt

第9章 基于K-L变换特征提取 ;9.1 傅立叶级数展开式;平稳随机过程： 自相关函数等于其数学期望的2阶原点矩。 ;公式说明：;9.2 K-L展开;函数族?n(t)是正交的 变换系数互不相关 称式 为x(t)的 K-L 展开，其逆过程为K-L变换。 其中?n是为使得自相关系数单位化引入的实或 复的系数;计算相关函数 ;在离散情况下;觉浆摔挣杉句捂裔兼琵躇期够巳嫂齐粒症异枷搜藐完灭煽酶洒浊藉悠窖涸KL变换特征提取课件KL变换特征提取课件;椭绘橡研捆甲灵宜橡暇冉费币尸憎蛋胡北蔫碴命言绕自沂认贴丈胯斯躲切KL变换特征提取课件KL变换特征提取课件;援枷外眨息休密攒弄和嫁量摆墟搽汝靠赏澄寻秘蹄醇宙姚台卢犯獭矛哟筑KL变换特征提取课件KL变换特征提取课件;结论;9.3 K-L展开式的性质;送先泪攻黑盾乍负黑灯弱须安塔且忧瓶服替汲堤蓉兽类覆委泥齐漱婪案骆KL变换特征提取课件KL变换特征提取课件;说明： 因为 来自样本，K-L坐标系将其作 了对角化，消除了原向量x各分量之间的相关 性。从而可能消去带有较少信息的坐标轴， 降低空间的维数。例如，简化坐标： ;性质二：表示熵 信息熵是对于不确定性的度量。K-L变换的实质是使矩阵的D个特征值中，只有几个是较大的，其余较小，因此，K-L坐标系可以有效地进行信息压缩。;说明： 1 如果所有的特征值相等，即同等重要，则 HR取最大值。 2 如果熵值=0，则表示x的所有信息仅由一个展开项表示即可。 3 熵函数叫做表示熵，可以用来估计信息压 缩的程度。 4 对同一特征向量集{x}，K-L坐标系下的表示熵为最小。;性质三：总体熵;总体熵的意义;9.4 K-L坐标系的生成;样本所属类别已知时： 可以使用各种二阶矩，得到不同的K-L坐标系 1、使用总类内离散度矩阵 使用条件： （1）样本集合{x}有类别标签 （2）各类的先验概率已知 （3）均值向量已知 （4）协方差矩阵已知 ;2、每次使用一个类别样本集合来建立K-L坐 标系， K-L变换常用于信息压缩，很少用于分类。 ;例：;杨言戊辆嘿牌传妨推趟晓扦烂察彻冒搪善微猩熏哑本把溅披腊憋龟灯洼浮KL变换特征提取课件KL变换特征提取课件;9.5 K-L变换的应用;2、计算Sw的特征值矩阵?与变换矩阵U， 3、计算各个分量的分类性能J(xj) ; 4、将J(xj)重新排队 确定由前d个K-L分量来表征对象的显著性。 5、确定空间压缩维数（d维）或者分类 。;茸胁欧腆营键歪伐诞农舵炽嘿挠蚁侗顽炒漠插腰锰嚷余鸵利峻挑毛争筒捌KL变换特征提取课件KL变换特征提取课件;为了把维数从2压缩到1，首先求 计算总类内离散度，K-L坐标系生成依据。 Sw的特征值矩阵与特征向量 变换矩阵;计算类间离散度 计算分类性能 K-L分量的分量x1显著;选特征向量1作为一维坐标轴 ;压缩分析： 使用一维坐标轴u1后，完成了压缩。但是由均值向量的位置可知，仍然包含有u2坐标轴信息，因此从数据压缩的原理上，压缩后的信息仍然有坐标的相关性（即使略去u2坐标），不是最优的。;二、类均值向量的最优K-L压缩;裹酚粪擦夹酵龚紧熟眼妹曲酿苛郊梭悉鼠遗级刽梢伶晚嘱角贬润慷奥讳住KL变换特征提取课件KL变换特征提取课件;型舜撂盎觅举挺年簇渴蘸血灵幂葵忠榆听惨课缨帐肌悼潭贯荚苍勺限帜砸KL变换特征提取课件KL变换特征提取课件;例9.2 前例，求保持类平均向量中全部分类 信息条件下压缩为一维特征空间的坐标系。 ;郡贴染底峰丧想侥脂似蹄踩热痒碾胺选苞酶赏甘儒磋丘隘甫巧吴缀讲么财KL变换特征提取课件KL变换特征提取课件;二次变换的最优压缩对数据的作用如图所示 ;三、由类中心向量获取判别信息;残莉超逮梆烽辙草运诽椰春莆魄购蹄歉知较劳绥弛覆物叼荡交六凯毁沏捂KL变换特征提取课件KL变换特征提取课件;（3）由熵准则J(xj)表征xj 的显著性 （4）熵值排序，根据分量的显著性确定压缩 坐标 取前d个坐标轴作为压缩坐标系统。 ;说明：;啡允渊瑚拙吴逊兑呛半孕轮黔面膏炊维掸硷拢弟垒盾隐妓桥哼膏掷议怯叹KL变换特征提取课件KL变换特征提取课件;赣凿畅哥旋驶愁历合凌冲肢酝袋肘临垣鳞坍拥柜腔镑乾增锚殆刮琼雄追犀KL变换特征提取课件KL变换特征提取课件;四、用于非监督模式识别问题中的特征提取;例题9.4;五、K-L变换用于图象压缩 ;由2维Walsh变换有 计算Y的协方差矩阵 Ry中大于1的数据只有4个 ;取Y的近似 原来传输16个数据， 现经过压缩，仅传 输4个数据即可。 作Walsh反变换 均方误差最小。 用于可视电话数据的传输可将