1.2 机器学习的发展历史.pdf

机器学习发展历史

主讲人：李侃

机器学习发展历程（续）

1980s机器学习成为独立的学科领域，各种机器学习技术百花初绽

机械学习（死记硬背式学习）示教学习（从指令中学习）

类比学习（通过观察和发现学习）归纳学习（从样例中学习

•1980年，CMU第一届机器学习研讨会

《策略分析与信息系统》三期机器学习专辑

•1983年，R.S.Michalski、J.G.Carbonell和T.M.Mitchell《机器学习：一种人工智能途径》

•1986年，《MachineLearning》创刊

•1989年，《ArtificialIntelligence》机器学习专辑

•1990年，《机器学习：风范与方法》MIT出版社

机器学习发展历程（续）

从样例中学习：决策树（decisiontree），覆盖分类和回归两个领域

1980s-（1）符号主义学习归纳逻辑程序设计（InductiveLogicProgramming,ILP）

1990s（2）基于逻辑的学习具有很强的知识表示能力，但会导致学习过程面临的假

设空间太大，复杂度高，因此，问题规模稍大就难以有

效地学习。

•1979年，J.R.Quinlan，ID3算法原型

•1986年，J.R.Quinlan，ID3算法，决策树学习理论

•1986年，Schlimmer和Fisher，引入节点缓冲区，ID4算法

•1993年，Quinlan，C4.5算法

•ID3的另一个分支：分类回归决策树算法(ClassificationRegressionTree，CART)，

主要用于预测。

机器学习发展历程（续）

从样例中学习：决策树（decisiontree），覆盖分类和回归两个领域

1980s-（1）符号主义学习归纳逻辑程序设计（InductiveLogicProgramming,ILP）

1990s（2）基于逻辑的学习具有很强的知识表示能力，但会导致学习过程面临的假

设空间太大，复杂度高，因此，问题规模稍大就难以有

效地学习。

•归纳逻辑程序设计：使用一阶谓词逻辑进行知识表示，通过修改和扩充

逻辑表达式完成对数据的归纳。

FOIL(FirstOrderInductiveLearner)

[Quinlan,1990]

机器学习发展历程（续）

1980s-从样例中学习：基于神1983年，J.J.Hopfield利用神经网络求解“流动推销员

1990s问题”这个NP难题。

经网络的连接主义学习

1986年，D.E.Rumelhart等人重新发明了BP算法。

JohnJ.HopfieldDavid.E.RumelhartGeoffreyHintonRonaldJ.Williams

•D.E.Rumelhart,G.E.Hinton,andR.J.Williams,“Learningrepresentations