神经网络与深度学习课件.pptxVIP

神经网络与深度学习复旦大学大纲进阶模型概率图模型玻尔兹曼机深度信念网络深度生成模型深度强化学习概述机器学习概述线性模型基础网络模型前馈神经网络卷积神经网络循环神经网络网络优化与正则化记忆与注意力机制无监督学习从人工智能开始Alan Turing让机器具有人类的智能机器感知（计算机视觉、语音信息处理）学习（模式识别、机器学习、强化学习）语言（自然语言处理）记忆（知识表示）决策（规划、数据挖掘）如何开发一个人工智能系统？人工规则What’s the Rule?机器学习如何开发一个人工智能系统？规则A Big Picture机器学习概述机器学习 ≈ 构建一个映射函数“你好”“9”“6-5”(落子位置)“你好！”“Hello!”语音识别图像识别围棋机器翻译芒果机器学习如果判断芒果是否甜蜜？/How-do-you-explain-Machine-Learning-and-Data-Mining-to-non-Computer-Science-people芒果机器学习从市场上随机选取的芒果样本（训练数据），列出每个芒果的所有特征：如颜色，大小，形状，产地，品牌以及芒果质量（输出变量）：甜蜜，多汁，成熟度。 设计一个学习算法来学习芒果的特征与输出变量之间的相关性模型。下次从市场上买芒果时，可以根据芒果（测试数据）的特征，使用前面计算的模型来预测芒果的质量。机器学习概览独立同分布 p(x,y)机器学习的三要素?模型线性方法：广义线性方法：如果为可学习的非线性基函数，就等价于神经网络。学习准则期望风险优化梯度下降常见的机器学习类型参数学习?期望风险未知，通过经验风险近似训练数据：经验风险最小化在选择合适的风险函数后，我们寻找一个参数θ? ，使得经验风险函数最小化。机器学习问题转化成为一个最优化问题优化：梯度下降法 随机梯度下降法机器学习 = 优化？NO！机器学习 = 优化？过拟合：经验风险最小化原则很容易导致模型在训练集上错误率很低，但是在未知数据上错误率很高。泛化错误经验风险期望风险?泛化错误PAC学习Probably Approximately Correct近似正确，0 ? 0.5可能，0 δ 0.5根据大数定律，当训练集大小|D|趋向无穷大时，泛化错误趋向于0，即经验风险趋近于期望风险。PAC学习样本复杂度?如果固定?,δ，可以反过来计算出样本复杂度为其中||为假设空间的大小，可以用Rademacher复杂性或VC维来衡量。PAC学习理论可以帮助分析一个机器学习方法在什么条件下可以学习到一个近似正确的分类器。如果希望模型的假设空间越大，泛化错误越小，其需要的样本数量越多。如何减少泛化错误？优化正则化经验风险最小降低模型复杂度正则化（regularization）L1/L2约束、数据增强权重衰减、随机梯度下降、提前停止如何选择一个合适的模型？模型选择拟合能力强的模型一般复杂度会比较高，容易过拟合。如果限制模型复杂度，降低拟合能力，可能会欠拟合。偏差与方差分解期望错误可以分解为模型选择：偏差与方差集成模型：有效的降低方差的方法集成模型通过多个高方差模型的平均来降低方差。集成模型的期望错误大于等于所有模型的平均期望错误的1/M，小于等于所有模型的平均期望错误。线性模型线性模型应用：图像分类应用：文本分类根据文本内容来判断文本的相应类别+-感知器模型学习准则优化：随机梯度下降两类感知器算法感知器参数学习的更新过程?直接建模条件概率??交叉熵损失真实条件概率模型预测条件概率如何衡量两个条件分布的差异？KL散度?交叉熵损失??真实概率?预测概率的负对数Logistic回归模型学习准则：交叉熵优化：梯度下降扩展到多类Softmax函数Softmax回归模型：学习准则：交叉熵优化：梯度下降几种不同的线性模型对比在logistic回归和softmax回归中，y为类别的one-hot向量表示；在感知器和支持向量机中，y为{+1,?1} 不同损失函数的对比如何处理非线性可分问题？增加非线性特征特征工程问题在实际应用中，特征往往比分类器更重要预处理：经过数据的预处理，如去除噪声等。比如在文本分类中，去除停用词等。特征提取：从原始数据中提取一些有效的特征。比如在图像分类中，提取边缘、尺度不变特征变换特征等。特征转换：对特征进行一定的加工，比如降维和升维。降维包括特征抽取（Feature Extraction）： PCA、LDA特征选择（Feature Selection）：互信息、TF-IDF深度学习深度学习=表示学习+浅层学习难点：贡献度分配问题深度学习的数学描述浅层学习深度学习?当神经网络！如果解决贡献度分配问题？?偏导数贡献度深度学习天然不是神经网络，但神经网络天然是深度学习！深度学习模型：神经网络学习准则：交叉熵损失等优化：随机梯度下降实际上的深度学