培训 - 先进人机通信技术联合实验室.ppt

L1最好 其次LLE，K再次 e最差，而且e的值很难设定 * 横坐标：L1-Graph无需参数调整 robust L2 基本稳定。K-nn随N增大错误率上升 N增大加入更多非同类样本 * * * SDA：Motivation LDA很强大，但无法直接用于半监督学习，此时由于部分样本类别信息的缺失，不能很好的估记类内散度矩阵 SDA 使用有类别样本最大化不同类间的可分性，使用所有样本（有类别和无类别）估计数据间的内在结构 数据间的内在结构：总体散度矩阵，图模型 * * RDA LDA目标函数： 当训练样本不足时，为了防止overfitting，有时会加入一个正则项，即RDA（Regularized Discriminant Analysis） * * RDA 当有部分无类别样本时，设计 使其包含数据的流形结构 对于降维，近邻样本应该有近似的低维表示 使用图来表征近邻样本间关系 * * SDA 定义正则项： 最小化这个正则项，使得原始空间中临近的样本在映射后的低维空间中仍然相邻。 目标函数： 直观解释：最大化类间散度矩阵的同时，最小化总体散度矩阵，并使得原始空间中临近的样本在映射后的低维空间中仍然相邻 * * SDA求解 目标函数： D为对角矩阵，对角元素为W各行元素的和 原目标函数化为： 求解 可得到映射 * * 讲解提纲 图模型 稀疏表示与L1-Graph L1-Graph与半监督学习 L1-Graph与半监督辨别分析 实验 结论及未来工作 * * 实验 6个人脸识别库 XM2VTS：295人，每人4张共1180幅图片，分辨率36*32 ORL： 40人每人10张共400幅图片，分辨率32*28 FERET：70人，每人6张图片共420幅图片，32*32 CMU PIE：68人，每人选7幅（C27，C05，C29，C09，C07，及光照变化的8和11），32*32 Yale：15人，每人11幅图片，32*32 FRGC：275人的5628幅图片，每人图片数从4到6不等，32*32 物体分类的数据库 ETH-80：8类图片，每类10个不同的物体共80个，每个物体41幅图片 * * 对比图 L1-Graph LLE-Graph K=3或K=6 KNN-Graph K=3或K=6 高斯核 高斯核 * * 实验结果 * * L1-Graph+SDA * * 图对参数的敏感性实验 FERET上的实验 * * 标注样本的影响 * * 讲解提纲 图模型 稀疏表示与L1-Graph L1-Graph与半监督学习 L1-Graph与半监督辨别分析 实验 结论及未来工作 * * 结论及未来工作 我们提出了一种与参数无关的构建图的方法并将其应用于半监督学习。L1 Graph 受启发与每个样本可以通过训练数据的稀疏线性加和进行重建。通过求解一个L1优化问题，我们将构造图的两个步骤统一起来。在半监督人脸识别与图像分类上的大量实验证明了L1-Graph的优越性 L1 Graph为我们进行数据降维的研究开启了一个新方向，未来工作包括 基于L1 Graph的无监督图像聚类 基于L1 Graph的半监督回归 利用L1 Graph与图嵌入的框架进行数据降维 * * * * 小伙子挺有才 自己作曲 钢琴十级 * * * W是对称的。相似度可以为负。 Dii 相似度的和 直观解释：如果Dii较大，同第i个样本相似的样本越多，第i个样本附近密度大 * Locally linear embedding LLE 局部线性 * * 同一时刻，被激活的视觉细胞只占其总量的很小一部分 稀疏表示本身就具有辨别能力 在所有可能的子集中，它会选择使用最少样本来表示输入信号的那个子集。 * * 白点是有边的地方 L1Graph 比较稀疏 Knn的图有疑问 L1Graph的边大都集中在本类中，因此更能有效的进行分类 * * * * 这个半监督学习的框架是03年ICML上zhu提出的 可以用与任何graph * * * * * * Semi-supervised Learning by Sparse Representation Shuicheng Yan Huan Wang Lecturer: Yitao Zhai * 作者的相关信息 Shuicheng Yan—第一作者 新加坡国立大学助理教授 简历 1999和2004年分别从北京大学获得应用数学的学士和博士学位 分别在微软亚洲研究院，UIUC，香港中文大学做过研究工作 研究方向 图像与视频中的行为检测 子空间学习与流形学习 物体识别与分类 生物识别 医学图像分析 论文 期刊: 36, 会议: