《深度学习》课件.pptVIP

深度学习人工智能领域中最前沿的技术，模拟人脑神经网络结构解决复杂问题从数据中自动学习特征，无需手动特征工程

课程大纲基础理论神经网络架构、激活函数、前向与反向传播主要模型CNN、RNN、Transformer、GAN实际应用计算机视觉、自然语言处理、语音识别前沿技术迁移学习、模型压缩、可解释性

什么是深度学习？多层神经网络通过多层次架构自动提取特征数据驱动从大量数据中学习规律端到端学习直接从原始数据到最终结果

深度学习的历史11943McCulloch-Pitts神经元模型提出21986反向传播算法推广32006Hinton提出深度信念网络42012AlexNet在ImageNet比赛中取得突破

深度学习vs传统机器学习传统机器学习需手动特征工程较少数据可训练计算要求较低深度学习自动特征提取需大量数据高计算资源

深度学习的应用领域计算机视觉图像识别、目标检测自然语言处理机器翻译、情感分析语音技术语音识别、语音合成游戏与决策AlphaGo、自动驾驶

深度学习的基础：神经网络输入层接收原始数据隐藏层提取特征，层数越多，抽象程度越高输出层产生最终预测结果

神经元模型1输入信号来自其他神经元的信息2权重参数控制各输入的重要性3偏置项调整激活阈值4激活函数引入非线性变换

激活函数为神经网络引入非线性变换，使网络具有拟合复杂函数的能力

前向传播输入数据原始特征向量加权求和对输入与权重做点积激活转换通过激活函数处理输出结果传递给下一层

反向传播算法前向计算获得预测结果1计算损失与真实标签比较2反向传递计算梯度3参数更新梯度下降优化4

损失函数1均方误差(MSE)回归问题常用2交叉熵分类问题首选3HingeLoss支持向量机使用4FocalLoss解决类别不平衡

优化算法：梯度下降1计算梯度求损失函数对各参数的偏导2参数更新沿梯度反方向更新3迭代优化重复直至收敛

随机梯度下降（SGD）批量梯度下降全量数据计算梯度稳定但速度慢随机梯度下降单样本更新快速但波动大小批量梯度下降批次数据更新平衡速度与稳定性

深度学习框架介绍PyTorch动态计算图，研究友好TensorFlow静态图，生产部署强MXNet多语言支持Keras高层API，上手简单

PyTorch入门张量操作类似NumPy，支持GPU加速动态计算图定义即运行，灵活调试自动微分自动计算梯度丰富生态模型库、部署工具

TensorFlow入门计算图构建静态图设计，高效执行模型训练支持分布式训练多平台部署移动设备、浏览器支持可视化工具TensorBoard监控训练

卷积神经网络（CNN）概述1局部连接共享卷积核提取特征2空间层次结构逐层抽象视觉特征3平移不变性对位置偏移具有鲁棒性4参数共享大幅减少参数量

CNN的基本结构卷积层特征提取激活函数增加非线性池化层降维、抽象全连接层分类决策

卷积层详解卷积核滑动窗口，特征检测器步长控制滑动间隔填充保持特征图大小

池化层详解最大池化提取最显著特征降低计算量平均池化平滑特征保留背景信息

经典CNN架构：LeNet-5卷积层C16个5×5卷积核池化层S22×2最大池化卷积层C316个5×5卷积核全连接层120→84→10

经典CNN架构：AlexNet1更深网络5个卷积层，3个全连接层2ReLU激活替代Sigmoid，减缓梯度消失3Dropout随机失活，防止过拟合4数据增强翻转、裁剪扩充训练集

经典CNN架构：VGGNet1全连接层4096→4096→10002卷积块53个3×3卷积层3卷积块3-4各3个3×3卷积层4卷积块1-2各2个3×3卷积层

经典CNN架构：GoogLeNetInception模块并行多尺度卷积1×1卷积降维减少计算量辅助分类器缓解梯度消失全局平均池化替代全连接层

经典CNN架构：ResNet残差块添加跳跃连接解决梯度消失简化深层优化超深架构支持152层实用网络

循环神经网络（RNN）概述1序列建模处理时序或序列数据2隐状态存储历史信息3参数共享各时间步使用相同权重4可变长度处理不定长输入输出

RNN的基本结构接收输入当前时刻数据1更新状态结合历史信息2生成输出当前预测结果3传递状态传给下一时刻4

长短期记忆网络（LSTM）输入门控制新信息进入遗忘门选择遗忘旧信息输出门控制信息输出记忆单元长期存储信息

门控循环单元（GRU）LSTM三个门控机制记忆单元与隐状态分离参数更多GRU两个门控机制更新门和重置门结构更简单高效

序列到序列模型（Seq2Seq）编码器将输入序列编码为向量中间状态传递上下文信息解码器生成目标序列

注意力机制选择性关注动态关注输入的重要部分计算权重通过相似度评分确定重要性信息汇聚根据权重聚合信息解决长依赖缓解序列过长问题

Transformer架构自注意力捕捉序列内部关系并行计算高效多头注意力学习多种特征关系增