能源大数据分析理论与实践6.深度学习.pptxVIP

深度学习06DeepLearning

6.1深度学习概述核心思想：通过多层神经网络逐层提取数据的高级特征，实现模式识别和决策。核心：人工神经网络模型，神经网络由多个层次组成，每一层都包含多个神经元（也称为节点）。网络结构：输入层：接收原始数据（如图像像素、文本词向量）。隐藏层：多层非线性变换，逐步学习深度特征。输出层：执行任务，如分类或预测。发展背景：20世纪40年代提出，但因数据规模小、计算受限一度衰落。近些年来，随着大数据技术的出现和计算资源的增多，深度学习再次受到学者的追捧，并且获得了前所未有的关注。深度学习（DeepLearning）

6.1深度学习概述应用领域：计算机视觉：图像分类、人脸检测、物体识别。自然语言处理：文本分类、机器翻译、情感分析。语音识别、推荐系统、医学诊断等领域。深度学习的挑战标注数据需求大：训练依赖大量高质量标注数据，该过程可能是耗时和昂贵的。计算资源要求高：深度模型需大规模并行计算，存储需求大。模型解释性弱：深度网络决策过程类似“黑箱”，难以理解。深度学习作为一种强大的机器学习方法，具有广泛的应用前景，它提供了一种强大的工具，处理和理解复杂的数据，为科学研究和实际应用带来了许多新的机遇。深度学习（DeepLearning）

6.2BP神经网络定义：前馈神经网络（FNN）的一种，最常见的深度学习结构。采用多层神经元结构：输入层→隐藏层（1层或多层）→输出层。BP算法（BackPropagation，又称反向传播算法）：核心思想：通过误差反向传播调整权重和偏置。计算误差：前向传播计算输出，反向传播调整参数以减少误差。工作流程：输入数据，通过网络前向传播计算输出。计算误差（输出vs目标值）。误差反向传播，更新权重和偏置。重复迭代，直到误差收敛。BP神经网络

6.2BP神经网络作用：引入非线性变换，增强网络的表示能力和学习能力。映射输入信号到输出信号，使网络能够学习复杂关系。关键点：无激活函数→网络等价于感知机（Perceptron），无法解决复杂非线性问题。激活函数决定神经网络的非线性表达能力。五种在神经网络中常用的激活函数：Sigmoid型函数、ReLU函数、Softmax函数、Swish函数、Maxout单元函数1.激活函数

6.2BP神经网络定义：S形非线性函数，包括Logistic函数和Tanh函数。主要用于归一化输入，控制激活值范围。1.激活函数Sigmoid型函数??

6.2BP神经网络?1.激活函数ReLU函数

6.2BP神经网络作用：用于多分类问题，输出K维概率分布；归一化输入值，使其总和为1，可解释为概率。计算公式：指数放大较大数值，缩小较小数值的影响。所有类别的概率总和为1，适用于分类任务。特点：与max函数不同，不会直接丢弃小值，而是赋予小概率；可视作Argmax的概率版本，适合分类任务输出。示意图：1.激活函数Softmax函数

6.2BP神经网络?1.激活函数Swish函数

6.2BP神经网络?1.激活函数Maxout函数

6.2BP神经网络BP算法的训练一般分为两个关键步骤：信号的前向传播和误差的反向传播，应用到深度学习方法中就是前向传播求损失，反向传播求偏导。BP算法的基本步骤：第一步，初始化：随机初始化神经网络的连接权重。第二步，前向传播（ForwardPropagation）：输入样本从输入层进入网络，经隐藏层逐层传递至输出层，计算得到网络的预测输出。第三步，计算误差：将网络的预测输出与实际输出进行比较，计算输出层的误差，可以使用某种损失函数（如均方误差）来度量误差。第四步，反向传播（BackwardPropagation）：首先从输出层开始，将误差反向传播回隐藏层和输入层。对于每个神经元，计算其对误差的贡献，这个贡献是通过将前一层的误差与当前神经元的权重相乘并传递给前一层来计算的。然后，根据激活函数的导数，将误差传递给前一层的神经元。2.BP算法的基本原理

6.2BP神经网络BP算法的基本步骤：第五步，计算权重更新：使用反向传播得到的误差梯度来更新连接权重。根据误差梯度和学习率的乘积，更新每个连接权重的数值，并使用学习率控制每次迭代中权重更新的幅度。第六步，重复迭代：重复执行前向传播、计算误差、反向传播和计算权重更新的步骤。通常，迭代的次数和终止条件是预先指定的，或者可以根据训练数据的性能表现进行动态调整。第七步，终止：当满足终止条件（如达到最大迭代次