人工智能的数学基础PPT第1章 特征向量与矩阵分析.ppt

PCA原理 为什么用协方差矩阵：/article/details协方差，相关系数：/questionPCA原理 为什么用协方差矩阵：/article/details协方差，相关系数：/questionPCA原理 为什么用协方差矩阵：/article/details协方差，相关系数：/question矩阵乘法 矩阵加法与数乘统称为矩阵的线性运算 可证明 数 乘 内 积 若无特殊说明，矩阵内积乘法时，不再特别标注左操作数的列数与右操作数的行数，而是默认二者相等 矩阵乘法 矩阵内积等于向量外积的和--内积的外积展开 元素乘法（Hadamard积） 卷积 满足结合律、分配律 交换律？？ 幺元 逆 矩阵的幂 矩阵的特征值与向量 非方阵：变换得到的新向量与原向量的长度不相同 典型应用场景：特征向量的变换与特征选择 右乘列向量 左乘行向量 方阵：变换得到的新向量与原向量的长度相同；变换矩阵的作用相当于将原向量进行旋转、缩放得出新向量。 若变换前后向量方向相同，只是大小上有区别，则称变换前的向量为变换矩阵的特征向量。此时，变换矩阵只对原向量进行缩放操作，旋转角度为0。缩放比例称作该变换矩阵的特征值。 右特征向量右特征值 左特征向量左特征值 任何非0比例缩放后的特征向量仍是特征向量，且特征值不变 非零 单位特征向量 特征向量将矩阵与向量的乘法运算转换为向量与特征值的数乘 矩阵的特征值与向量 特征降维 矩阵变换示例 矩阵的特征值与向量 投影 单位正交基 投影 单位正交基 矩阵的特征值与向量 通过矩阵乘法运算，把原来的样本矩阵 X 变换为新样本矩阵 Y; V为基矩阵 维数减少可大大减少计算量，但若基矩阵 V 选择不当，将导致信息量缺失 保证降维后能最大程度保留原有的信息 目标1：降维后各维度方差尽可能大 目标2：保证不同维度之间的相关性为0(基向量正交) 相关性为1 同一元素的协方差=该元素方差，不同元素间的协方差=它们的相关性 矩阵的特征值与向量 最终目标： 对称阵 对称阵 矩阵的特征值与向量 假设： X 已中心化 优化目标： 令 拉格朗日乘数法 解得： 对称阵 解法一： 矩阵的特征值与向量 优化目标： 优化目标： 拉格朗日乘数法 讨论：如何特征降维？ 特征向量 特征值 对称阵 解法二： 矩阵的轶 矩阵 行向量 列向量 极大无关组中向量的个数定义为矩阵的轶，记作R(A) 行满轶、列满轶、行欠轶、列欠轶 若方阵是满轶的，则称其是非奇异的。否则，若方阵是欠轶的，则称其为奇异的。 若行向量与观测对象对应，列向量与观测角度（特征类别）相对应，则行欠轶意味着部分观测对象可由其它对象的线性组合来表示；列欠轶意味着某些观测牲征可由其它特征的线性组合来表示。这可分别视作在观测对象的选取、观测特征的选择上存在一定程度的冗余。 初等变换 给定任意一组维度相同的向量，如何求其最大线性无关组中向量的个数呢？ 一种可行的方法是对矩阵进行初等变换 对于矩阵行向量来说，初等变换包括：行对调、非零数乘任意行向量、加任意行向量的指定倍数到另一行向量三类操作。（列？） 矩阵A经过有限次初等变换变成矩阵B，则称矩阵A与B等价，记作 由矩阵初等变换的定义不难发现，三种变换均是可逆的，并且各类型的逆变换均是同类型的初等变换。 自反性 对称性 传递性 所有与矩阵A等价的矩阵组成一个集合，称为一个等价类，且轶相等（初等变换不改变线性相关性） 初等变换 行阶梯形 行最简形 标准形 一个矩阵与一种线性变换对应。显然，初等变换均为线性变换。那么，矩阵的初等变换是否可以用矩阵来表达的？ 单位阵--恒等变换 单位阵初等变换的结果称作初等矩阵 实施一次初等行变换，相当于在其左侧乘以对应的初等矩阵；对其实施一次初等列变换，相当于在其右侧乘以对应初等矩阵。 矩阵的逆 恒等变换 除非m=n，否则两个恒等变换的阶数不同 将 B 称作 A 的左逆，将 A 称作的 B 右逆 将 B 称作 A 的右逆，将 A 称作的 B 左逆 若m=n，则A的左逆与右逆均B，B的左逆与右逆均A；称A、B可逆，且互为逆矩阵，记作A-1=B、B-1=A 若矩阵A可逆，则其逆矩阵是唯一的。另，若A-1=B、B-1=A成立，则(A-1)-1=B-1=A 若方阵A与方阵B同阶，且均可逆，则(AB)-1=B-1A-1；若方阵A可逆，则AT亦可逆，且(AT)-1=(A-1)T 矩阵的逆 任一列向量：行向量以对应列向量为权重的线性组合；列轶=行轶 当矩阵存在右逆时，其是行满轶的。类似地，若矩阵存在左逆，则其是列满轶的； 方阵有逆矩阵的前提是其是满轶的 行满轶，若n