机器学习研究进展.ppt

机器学习研究进展 第九届中国机器学习会议 上海 2004年10月 对统计机器学习的说明 Dietterich将感知机类的连接机器学习分离出来，并根据划分机理，将其分为两种类型：统计机器学习与集成机器学习。这意味着，感知机类机器学习是重点 强调： 表示：非线性问题的线性表示 泛化：以泛化能力为基础的算法设计 对增强机器学习的说明 “适应性”是控制理论中最重要的概念之一，以往在计算机科学中考虑较少 1975年，Holland首先将这个概念引入计算机科学。1990年左右，MIT的Sutton等青年计算机科学家，结合动态规划等问题，统称其为增强机器学习 这样，遗传学习成为实现增强机器学习的一种方法 对符号机器学习的说明 尽管经过十年，符号机器学习被保留，然而，其目标和内涵已发生很大的变化 改变泛化目标为符号描述(数据挖掘)。这意味着，符号机器学习已不是与统计机器学习竞争的研究，而是一个研究目标与其不同的研究范式 分析机器学习被放弃 分析机器学习所包含的类比、解释等问题对背景知识有更高的要求，这从表示到学习均需要考虑新的理论基础，在这些理论未出现之前，其淡出机器学习研究的视野是自然的 近几年的发展动向 由于真实世界的问题十分困难，现有的理论、方法，甚至理念已不能满足需要，由此，大量近代数学的研究结果被引入计算机科学，由此，形成新的机器学习范式 特点 从Carbonell到Dietterich的特点是： 在算法设计理论上，基础代替随意的算法设计，具体地说，更为强调机器学习的数学基础 应用驱动代替理论驱动(认知科学与算法的Open问题)。具体地说，从AI中以“学习”机制驱动(智能)”的研究方式，改变为根据面临的实际问题发展新的理论与方法 统计机器学习的要点 目前，统计机器学习的研究主要集中在两个要点上： 线性表示 计算：非线性算法一般是NP完全的。 认识世界：只有在某个空间中可以描述为线性的世界，人们才说，这个世界已被认识(将问题变换为另一个问题) 数学方法：寻找一个映射，将非线性问题映射到线性空间，以便其可以线性表述 例子---XOR问题 在机器学习中的方法 寻找具有一般意义的线性空间(方法) 目前，机器学习主要采用两种方法： 整体线性，Hilbert空间(核映射) 类似分段线性，Madaline或弱分类方法 Hilbert空间 Hilbert空间是Von Neumman为量子力学数学基础提出的一类具有一般意义的线性内积空间 在机器学习中借助Hilbert空间构成特征空间 线性不可分机器学习问题 将线性不可分问题变为线性可分问题的关键是寻找一个映射，将样本集映射到特征空间，使其在特征空间线性可分 这样，我们只需以感知机为基础，研究统计机器学习问题。 困难—特征空间基的选择 选择特征空间的基 特征空间的基可以采用多项式基或三角函数基 寻找一般的方法描述特征空间存在根本性困难(维数灾) 与神经网络相比，核函数的选择可以借助领域知识，这是一个优点 理论描述 是否可以不显现地描述特征空间，将特征空间上描述变为样本空间上的描述？ 如果不考虑维数问题，在泛函分析理论上，这是可行的 这就是核函数方法 “泛化误差界”研究的演变 PAC界(Valiant[1984]) VC维界(Blumer[1989]) 最大边缘(Shawe-Taylor[1998]) 最大边缘(Shawe-Taylor[1998]) 研究趋势 算法的理论研究基本已经完成，根据特定需求的研究可能是必要的 目前主要集中在下述两个问题上： 泛化不等式需要样本集满足独立同分布，这个条件太严厉，可以放宽这个条件？ 如何根据领域需求选择核函数，有基本原则吗？ 集成机器学习的来源 神经科学：Hebb神经细胞工作方式 数学方法：非线性问题的分段化(类似) 计算技术：Widrow的Madaline模型 统计理论：PAC的弱可学习理论 Ensemble(集成) 1954年，Hebb使用这个单词来说明视觉神经细胞的信息加工方式 假设信息加工是由神经集合体来完成 Madaline模型 Widrow的Madaline模型 在数学上，其本质是放弃感知机对样本空间划分的超平面需要满足连续且光滑的条件，代之分段的超平面 Schapire的理论 问题 集成机器学习的研究还存在着大量未解决的问题，关于泛化能力的估计(不等式)还存在问题 目前，这类机器学习的理论研究主要是观察与积累，大量的现象还不能解释 符号机器学习 符号机器学习的数学基础 符号机器学习不同于统计机器学习，划分样本集合的等价关系是学习所得，符号机器学习是事先定义等价关系，学习只是在这个等价关系下约简样本集合 等价关系为： {(x, y) : a(x)=a(y), x, y?U} 符号机器学习的泛化问题 一个无矛盾规则越短，其覆盖对象越多，因此，符号机