第2章 线性判别函数_第一讲.ppt

第二章 线性判别函数 主要内容： 线性空间、线性判别函数 矩阵分析简介 感知器准则 松弛算法 最小平方误差算法 2.1 线性判别函数和判别界面 线性不可分情况 线性判别函数 x=(x1, x2,…, xd)t: 特征矢量； w=(w1, w2, …, wd)t: 权矢量； w0：偏置(bias)。 线性分类器的分类界面 两类问题线性判别准则 分类界面的几何解释 线性分类界面H是d维空间中的一个超平面； 分类界面将d维空间分成两部分，R1，R2分别属于两个类别； 判别函数的权矢量w是一个垂直于分类界面H的矢量，其方向指向区域R1 ； 偏置w0与原点到分类界面H的距离有关： 线性判别函数的增广形式 y=(1, x1, x2,…, xd)t: 增广的特征矢量； a=(w0, w1, w2, …, wd)t: 增广的权矢量； 多类问题（情况一） 每一类模式可以用一个超平面与其它类别分开； 这种情况可以把c个类别的多类问题分解为c个两类问题解决，需要c个线性分类界面； 第i类与其它类别之间的判别函数： 多类问题（情况一）分类界面 多类问题（情况一）判别规则 若存在i，使得gi(x)0， gj(x)0，j≠i，则判别x属于ωi类； 其它情况，拒识。 多类问题（情况二） 每两个类别之间可以用一个超平面分开； c个类别的问题需要c(c-1)/2个线性分类界面； 第i类与第j类之间的判别函数为： 多类问题（情况二）分类界面 多类问题（情况二）判别准则 如果对任意j≠i ，有gij(x)≥0 ，则决策x属于ωi。 其它情况，则拒识。 多类问题（情况三） 情况三是情况二的特例，不存在拒识区域。 广义线性判别函数 2.2 矩阵分析简介 线性代数基础 模式识别常用距离 矩阵微分初步 线性代数基础 线性空间（向量空间） 向量内积 欧几里德范数 线性无关 行列式、迹 矩阵的逆 特征值、特征向量 对称性： 常用的距离函数 欧氏距离：(Eucidean Distance) 常用的距离函数 街市距离： （Manhattan/city block/taxicab distance） 常用的距离函数 明氏距离：(Minkowski Distance) 仅当 时，明氏距离具有旋转平移不变性 角度相似函数：(Angle Distance) 矩阵微分——相对于数量变量的微分 对于n维函数向量 对数量变量 t 的导数为： 对于m×n阶函数矩阵 对数量变量 t 的导数为： 矩阵微分——相对于数量变量的微分 设 及数量函数 对数量变量t均可导，则： 矩阵微分——相对于数量变量的微分 例:求二次型 对t 的导数 其中 是n维函数向量 是数字矩阵 矩阵微分——相对于向量变量的微分 矩阵微分——相对于向量变量的微分 设 是以向量 为自变量的数量函数，定义 矩阵微分——相对于向量变量的微分 设 是以向量 为自变量的数量函数，定义 矩阵微分——相对于向量变量的微分 设 ，有： 矩阵微分——相对于向量变量的微分 例：求函数 对 的导数 矩阵微分——相对于向量变量的微分 设 且 是向量 的函数向量，定义： 矩阵微分——相对于向量变量的微分 设 则 矩阵微分——相对于向量变量的微分 例：a）求行向量 对 的导数 b）求列向量 对 的导数 c）求二次型 对 的导数 d）求数量函数 对 的导数