机器学习困惑与历史启示.ppt

机器学习的困惑与历史的启示 王珏 第九届机器学习 及其应用研讨会 2011年11月，清华大学 氏轻盏桓该廊雇诣履刺卜氢哲掐名淆悯凋菌糠浸辫识撅化乖各廊怎徒山喂机器学习困惑与历史启示机器学习困惑与历史启示 自 然 模 型 [采样] 样本集 模型 [算法] [交叉验证] 假设iid 统计机器学习的麻烦 ？？？？？ [设计实验] 问题：模型是自然模型吗？ 统计机器学习 如果数据不充分，在大变量集合下，如何设计实验，获得新数据。 统计机器学习的困难：实验设计存在组合问题。iid成为与自然模型无关的假设！ 特殊函数的逼近 鞘粤烬啃最掸革变绘肆投巫娩痔俯牵归抖肌镁捂坡下抚遥磅热拿世役镑货机器学习困惑与历史启示机器学习困惑与历史启示 社会的需求 生物、网络、金融、经济和安全等众多领域，大变量集合的海量数据不断涌出，社会迫切需要分析与处理这些数据的有效理论、方法与技术。 寻找分析与处理大变量集合海量数据的新理念、理论、方法与技术成为当前迫切的任务。 邯焉孰阑古掐是犀悯潜测李红汽刁火赁赤烹括孺实岩坦喷喘极炎恕夫顾德机器学习困惑与历史启示机器学习困惑与历史启示 历史的故事 翠啤浆倾醚瓶贝揍唇滥委睦行紫扔寻墙船轴匀肚伸蒲磐八硒遍曲返奉揣锄机器学习困惑与历史启示机器学习困惑与历史启示 线性感知机 基于最小二乘的Rosenblatt的感知机(1956)，其本质是多变量空间上的平均(回归)。 1902年，James的神经元相互连接 1943年，McCulloch和Pitts的神经元工作方式 1949年，Hebb的学习律。 贡献是：多变量回归的计算方法(神经网络)。 基函数： L = 1D + 2I + 3G + 4S 设计算法，确定，获得模型 疑问是：只能解决线性问题，不能满足实际的需要。埋下被批评的口实。 伺湾瞅吻俊沽匿辖盅陌硝殿贪早茅花坚蛋享刊肆疲鸥廖留屹气堕辊镑铡曰机器学习困惑与历史启示机器学习困惑与历史启示 20世纪70年代面临的选择 统计优化(平均)： 线性感知机 统计模式识别 复杂信息系统(结构)： 专家系统 句法模式识别 选择 非线性问题 计算效率 专家系统合理 复杂问题求解 实现智能系统的理想 Duda and Hart[73] 从Bayes判别(分类)，引入损失函数，变为正则化问题 If [D=0][G=A] then[L=0] If [I=0][G=A] then[L=0] If [D=1][I=1][G=A] then [L=1] 坍鳖勤漠德律浆惶褪稼糕呐穆贼咸羔梁计纲宇垮麓骆镰日废探病绒挤僳洁机器学习困惑与历史启示机器学习困惑与历史启示 AI 1969年，M.Minsky发表颠覆性的报告， “Perceptron”。表象是以XOR问题向以平均为基础的感知机发难，本质是试图以结构方法代替平均。全书使用拓扑作为工具。 1956年，以复杂信息处理为契机，提出AI。其动机有二：其一，发展处理符号的方法，其二，处理非线性问题。 过分强调独立性，使得描述任何一个问题，需要穷举出所有可能。80年代，耗资巨大的CYC“失败”了。 需要统计方法成为共识。 店拽萧宫仆赶妇躁贞悍轰赚妇握晦甸快册吐藉姬斩持辖鸵荐姜廊向彝瘁氧机器学习困惑与历史启示机器学习困惑与历史启示 20世纪80年代面临的选择 概率图模型(Bayes学派): Markov随机场 Bayes网 人工神经网络(频率学派): BP 统计机器学习 选择 结构学习的困难 先验的结构 先验概率分布 推断是NPC 字符识别，网络数据建模 误差界指导算法设计 算法基于线性感知机 无需先验知识，无推断 考虑泛化为核心 Gibbs[1902], Wright[1935] Clifford[1971] Pearl[1988，89] 剿瓷狗敝略粘舞曹盘验降阑哭芋民熔攻役侣蚕面蚂反桑卸辙姚怒鳖辟桨池机器学习困惑与历史启示机器学习困惑与历史启示 统计机器学习 1991年，Vapnik借用在AI中的PAC，给出基于iid的误差界，基于PAC的统计开始成为主流 1986年， Remulhart发表PDP报告，包含非线性BP算法，解决XOR,逼近非线性函数。学术价值不大，人们开始重新尝试“平均”方法。 从ANN到SML，发展得力于对字符识别的成功 神经网络基于PAC的机器学习基于统计学的机器学习 贡献: (1)基于iid的误差界指导算法设计，(2)算法设计返回感知机，线性算法，寻找线性空间(核映射)。 基于PAC理论，误差界以1-概率成立。这个参数在泛化意义下的解释：理想，应该趋于0，但是，误差界将趋于无穷，成为平凡界。 新世纪开始，统计学家加入SML，完全放弃