深度学习论文讲述.ppt

Character-based Parsing with Convolutional Neural Network 基于特征的卷积神经网络分析 复旦大学 xiaoqing zheng 基本结构 句法分析 神经网络 卷积神经网络 基于特征的卷积神经网络 实验分析 句法分析---定义 图灵测试 人工智能实现的关键在于对自然语言的分析和处理，而如何让计算机“理解”所接受到的自然语言，并且根据“分析”生成相应的回答是人工智能所面临的两大挑战。 从语言学角度看 语言学家不得不面对着这样一个问题：到底人类头脑中的语法结构和语言知识是如何获得的，一派是以乔姆斯基为代表的理性主义者；另一派是经验主义者，经验主义和统计自然语言处理成为当前研究的主流。 句法分析的定义 给定相应的语法体系，自动推导出句子的语法结构，将句子转化成对应相应语法体系的句法分析树，其中包含了句子中不同的句法单位以及之间的关系 句法分析---句法分析树 句法分析树 句子“政府鼓励民营企业家投资国家基础设施”的句法分析结果 (a) CTB中的句子分析树 (b) 二叉树 句法分析---研究现状 句法分析研究现状 句法分析，就是在给定的语法体系下，对于给定的句子，自动推导出句子的语法结构，将句子转化成相应语法结构的句法分析树，要解决以下三个问题。 1.用怎样的语法体系来对句法结构表示，选取时所需要衡量的因素是什么？ 例如： 汉语： “一个 穿黑衣服的 男人 在河边 走。 ” 英语： “A man dressed in black walk by the river.” 衡量的因素包括：语料库的构建成本，计算成本，应用需求，语言特点 句法分析---研究现状 2.对于给定的语法体系，可能出现同一句子对应不同的句法结构，如何进行消歧？ 基于规则的消歧被基于统计模型消歧取代，统计建模的两个步骤：第一是构建模型，也就是将设计的模型形式化表示出来。第二是模型参数估计，也就是从树库中通过学习得到所需的参数 3.如何在有限的时间内得到句子的句法结构？ 如何在有限的时间内给出最优的句法分析树是句法分析算法所要考虑的问题，研究者们针对这些问题做了大量的研究，其中应用动态规划方法到句法分析算法中是最普遍的做法。 句法分析---语料库 语料库 大部分的句法分析模型都是通过有指导的学习方式从已标注好的语料库中学习模型，参数标注规模和标注质量直接影响句法分析的性能。 汉 语 树 库 CTB (ChineseTreebank) CTB6大约有80万个词。 卷积神经网络前言---深度学习 深度学习（deep learning） 深度学习是机器学习领域一个新的研究方向,近年来在语音识别、计算机视觉等多类应用中取得突破性的进展，其动机在于建立模型模拟人类大脑的神经连接结构,在处理图像、声音和文本这些信号时,通过多个变换阶段分层对数据特征进行描述 ,进而给出数据的解释。 深度学习之所以被称为“深度”,是相对支撑向量机 ( support vector machine, SVM)、 提 升 方 法(boosting)、最大熵方法等“浅层学习”方法而言的,深度学习所学得的模型中,非线性操作的层级数更多。 卷积神经网络前言---深度学习 深度神经网络(deep neuralnetworks, DNN)由多个单层非线性网络叠加而成的，常见的单层网络按照编码解码情况分为3 类:只包含编码器部分、只包含解码器部分、既有编码器部分也有解码器部分。 卷积神经网络---基本结构 卷积神经网络(convolutional neural networks, CNN) 属于深度神经网络中前馈深度网络，在这种网络中,信息只沿一个方向流动,从输入单元通过一个或多个隐层到达输出单元,在网络中没有封闭环路。 卷积神经网络是由多个单层卷积神经网络组成的，每个单层卷积神经网络包括卷积、非线性变换和下采样 3 个阶段。 卷积神经网络---卷积阶段 卷积阶段,通过提取信号的不同特征实现输入信号进行特定模式的观测，其观测模式也称为卷积核，每个卷积核检测输入特征图上所有位置上的特定特征,实现同一个输入特征图上的权值共享。 卷积阶段的输入是由 n 1 个 n 2 × n 3 大小的二维特征图构成的三维数组，每个特征图记为 xi ，该阶段的输出 y 也是个三维数组,由 m 1 个 m 2 × m 3 大小的特征图构成 卷积神