人工智能课件：机器学习.pptx

人工智能机器学习

本章提纲1机器学习基础2神经网络3深度神经网络5机器学习在电力工程中的应用4学习技巧

本章提纲1机器学习基础2神经网络3深度神经网络5机器学习在电力工程中的应用4学习技巧

1.1机器学习的基本概念什么是学习系统改进其性能的过程获取知识的过程技能的获取事物规律的发现过程综合来看，学习是一个有特定目的的知识获取过程，具体表现为对知识、经验、规律进行学习，以达到性能优化、环境适应和自我完善。机器学习使计算机完成上述的学习功能，通过自动或被动的知识、技能获取，为之后的人工智能应用进行准备。

1.2机器学习的研究历史20世纪50年代中期研究工作：应用决策理论的方法研制可适应环境的通用学习系统基本思想：给系统一组刺激、一个反馈源和修改自身组织的自由度，系统就可以自适应地趋向最优组织代表：罗森布拉特（Rosen-blatt）的感知器20世纪70年代中期研究方向：用逻辑的演绎及归纳推理代替数值的或统计的方法重要成果举例：斯托夫的指导式学习、温斯顿和卡鲍尼尔的类比学习以及米切尔等人提出的解释学习20世纪80年代到21世纪初研究特点：符号学习和连接学习取得较大进展，开始把符号学习与连接学习结合起来进行研究重要成果举例：里奇(E.Rich)开发的集成系统

1.3机器学习的分类演绎学习以演绎推理为基础的学习非监督学习在不提供或不足量提供显式反馈的情况下，完成对输入分布的学习可分为无监督学习、半监督学习和自监督学习（1）无监督学习不依赖任何标签值，通过挖掘数据本身的结构或特征完成任务主要包括：①聚类（K-means，谱聚类等）②降维（线性降维：PCA等；非线性降维：SOM、KernelPCA等；图上降维：图嵌入等）③离散点检测（主要应用于异常检测）

1.3机器学习的分类非监督学习（2）半监督学习让学习器不依赖外界交互，自动利用未标记样本提升学习性能分类：①无标签数据预训练网络后有标签数据微调②利用从网络得到的深度特征来做半监督算法（3）自监督学习标注源于数据本身，而非人工标注主要用于特定类型数据的生成，其生成的数据可用于预测、调试优化模型等强化学习人工智能在强化序列（奖赏和惩罚组合的序列）中学习

1.3机器学习的分类监督学习?

本章提纲1机器学习基础2神经网络3深度神经网络5机器学习在电力工程中的应用4学习技巧

2.1神经网络的基本特点感知器?神经网络结构构成：输入层、隐藏层、输出层组成单元：感知器学习过程：输入数据的前向传递、损失值的反向传播和梯度优化。

2.2激活函数?Sigmoid函数

2.2激活函数?ReLU函数

2.3神经网络的学习机理输入数据在神经网络中的前向传递损失值在神经网络中的反向传播基于反向传播梯度的可训练参数优化神经网络的学习步骤??输入数据在神经网络中的前向传递

2.3神经网络的学习机理损失值在神经网络中的反向传播反向传播时，根据损失函数对各w和b的导数，可以判断每个参数的变化方向，再乘以学习率就可以获得每个参数的更新方式。以一个三层神经网络为例：输出为：损失为：以第一层为例求取损失对网络参数的导数：结合预设的学习率进行参数更新：

2.3神经网络的学习机理基于反向传播梯度的可训练参数优化传统梯度下降法存在着两点缺陷：训练速度慢：每一步都要计算调整下一步的方向，下山速度变慢容易陷入局部最优解：当落入鞍点时梯度为0，参数不再继续更新批训练对于含有n个训练样本的数据集，每次参数更新，选择一个大小为m的样本集作为更新参数的依据特点：既保证了训练的速度，又能保证最后收敛的准确率随机梯度下降法每次利用SGD法更新参数时，随机选取一个计算梯度特点：在样本量很大时也有较快地训练速度；每次迭代方向具有随机性；不能保证很好的收敛性

2.3神经网络的学习机理自适应学习率算法学习率学习率是对训练影响最大的超参如果学习率太小，则梯度很大的参数会有一个很慢的收敛速度如果学习率太大，则参数可能会出现不稳定的情况对于同一模型中的不同参数，最合适的学习率很可能并不相同自适应学习率算法主要有：AdaGrad、RMSProp、AdaDelta、Adam算法及其变体等

2.3神经网络的学习机理自适应学习率算法?

2.3神经网络的学习机理自适应学习率算法?

2.4线性分类器神经网络在有监督的分类任务中的作用机制以简单线性模型为例??

本章提纲1机器学习基础2神经网络3深度神经网络5机器学习在电力工程中的应用4学习技巧

3.1神经网络的结构前馈神经网络每个神经元只与前一层的神经元相连，各层神经元之间无连接各层间没有反馈，数据正向流动不考虑输出与输入在时间上的滞