模式识别与人工智能之三.pptx

Pattern Recognition artificial Intelligence Lecture 3: 特征选择与提取（二）;主要内容;;什么是线性代数？ 线性代数中矩阵的乘法或者说矩阵有什么物理意义？;矩阵的几何含义是什么？;矩阵的物理含义是什么？;矩阵的物理含义是什么？;矩阵的物理含义是什么？;相似矩阵;矩阵的物理含义是什么？（further）;矩阵的物理含义是什么？（further）;矩阵的特征向量和特征值代表了什么？;矩阵的特征值分解;矩阵的特征值分解;矩阵的特征值分解;主成分分析 和 K-L变换;主成分分析和K-L变换降维思想;主成分分析和K-L变换降维思想;主成分分析和K-L变换降维思想;主成分分析和K-L变换区别;K-L变换（?Karhunen-Loeve?变换）; 用有限项估计x ：;约束条件：;结 论;K-L变换的表示;K-L变换的性质;K-L变换的产生矩阵;p个样本的n个特征的观测数据可用下面的矩阵表示 ; 步骤1. 对原始数据矩阵进行标准???处理，相当于对原始变量进行坐标平移与尺度伸缩：; 步骤2.计算相关矩阵R;步骤3. 计算特征值与特征向量 ① 解特征方程　　　　，求出特征值，并使其按大小顺序排列; 步骤4.确定主成分个数; 步骤5.求主成分得分－新的变量值;x的相关函数矩阵R=E[xxT]和协方差矩阵C=E[(x-μ) (x-μ)T]都非常巨大。如果是128*128的图像，每个x有16384维，那么R就有16384*16384那么大，如果一个数据用8个字节，那么有这个R有20G！计算量巨大！ 解决方法：奇异值分解（SVD）;奇异值分解 SVD;奇异值分解 SVD;奇异值分解 SVD;奇异值分解 SVD的好处;PCA与SVD的关系;PCA与SVD的关系;PCA与SVD的关系;SVD的物理含义;SVD为什么能解决PCA计算量大的问题？;SVD中U和V的进一步解释;SVD中U和V的进一步解释;SVD理解案例;应用举例;训练阶段;训练阶段;训练阶段;训练阶段;训练阶段;训练阶段;训练阶段;训练阶段;训练阶段;识别阶段;识别阶段;识别阶段;识别阶段;识别阶段;小 结