人工智能概论通识课 第7章 机器学习与知识发现（二）.pptx

第7章 机器学习与知识发现（二） 7.1 统计学习 7.2 神经网络学习 7.3 深度学习 7.4 数据挖掘与知识发现 延伸学习导引 ; 7.1 统计学习 7.1.1 概述 让计算机（机器）执行以统计、概率和其他数学理论为基础的算法，处理相关样本数据以发现其中的模式或规律的“机器学习”方法——统计机器学习（statistical machine learning），即统计学习（statistical learning）。 统计学习的主要工作和过程是：首先准备样本数据，然后针对样本数据的特点，选择或设计某种数值模型或概率模型、准则函数（criterion function）（如误差、损失、代价、风险函数等）、学习策略和算法，最后编程实现以归纳或估算一个最优模型。 ; 统计学习的主要任务是发现或估计隐藏于样本数据中的类别关系、函数关系或模式（类）以解决相关的分类（classification）、回归（regression）或聚类（clustering）等问题。这样，统计学习又可分为面向分类的学习、面向回归的学习和面向聚类的学习等。 其中，面向分类的学习又大体有两条技术路线：一条是数值路线，另一条是概率路线。 一般来讲，数值路线的学习结果是问题的近似解，而概率路线的学习结果是可能解。; 面向回归的学习与面向分类的学习的数据形式是相似的，只是其数据对中的响应值（也称输出值）一般是实数，而不是分类学习中的类别标记。所以，回归学习的模型、约束、策略、算法等与数值路线的分类学习既相似又有区别。 聚类学习面向无响应值的数据，其目标是发现数据所表征的类别模式。聚类学习也有许多经典算法，如k-均值算法、期望最大化算法、谱聚类算法和层次聚类算法等等。 ;统计学习是一种基于样本数据的学习，而样本数据一般是n维向量（称为特征向量）或者n维向量与符号或数值组成的序对，所以统计学习的方法主要是监督学习和无监督学习。 决策树学习是一种独特的监督学习方法，它不仅可用于符号学习，也可用于统计学习。在统计学习中，它既可用于分类学习也可用于回归学习；它既可走数值路线，也可走概率路线。;7.1.2 回归问题的线性函数模型学习，梯度下降法 设有样本数据如下表所示： 它们所构成的数据点在xy空间中的分布如图7-1所示。; 设 ; 为了找出能满足式(7-2)的a、b值，我们先分别给a、b随机地赋一初值，然后代入(7-1)式计算误差E(a, b)。如果E(a, b)不满足(7-2)式，就修正a、b的赋值，然后再计算误差E(a, b)，如此这般，反复进行，直到误差E(a, b)满足(7-2)式。这时，所得的a、b值即为所求。当然，我们要把这一过程设计成算法，让机器来执行，即实现所称的机器学习。 ; 我们用误差函数E(a, b)在点(a, b)的负梯度 ; 由矢量代数知识和梯度下降法原理，在有哪些信誉好的足球投注网站过程中点(a, b)的变换公式亦即系数a, b取值的修正公式为 (a, b)= (a, b) ???E(a, b) (7-4) 其中0??1，称为学习因子或学习率，用以控制有哪些信誉好的足球投注网站时的移动步长亦即参数值修正量的大小，以免因步子太大而跨过了最佳点(a*, b*)或者因步子太小而进展缓慢。(7-4)式是用向量表示的修正公式，写成分量形式则为 ;一个有哪些信誉好的足球投注网站a、b最佳取值亦即学习相应线性函数的算法： ———————————————————-----------------------------------------------------------------------------------------------------------——————— (1) 设定一个?值和一个误差上限?； (2) 给系数变量a, b各赋一个初值； (3) 将样本集中变量xi的取值依次代入函数式ax+b求相应的y值，并计算总误差 E(a, b)= (4 ) 如果E(a, b)?，则当前的a、b取值即为所求，于是，算法结束；否则，计算梯度?E(a, b)，修正a、b的取值，即令 (a, b)= (a, b) ???E(a, b)； 然后转(3) ———