深度学习技术介绍.pptxVIP

深度学习技术介绍 Deep Learning Technology;深度学习是机器学习中表征学习方法的一类。一个观测值（例如一幅图像）可以使用多种方式来表示，而某些特定的表示方法可以让机器学习算法更加容易进行学习。表征学习的目标是寻求更好的表示方法并建立更好的模型来学习这些表示方法； 通俗来讲，机器学习是一种算法框架，通过此算法框架，需要让机器具有类似人类的智慧，学会认识世界的一种方式； 为人类提供“大数据+简单模型”的实现方式。;语音识别 图像识别 自然语言处理;论点：机器学习是要制造一个超级大脑，能够具有人类一样的智慧。 这是一个非常典型的错误。 机器学习是一个古老的计算机学科，而深度学习正是机器学习的一个狭窄领域，并非新生事物。持此观点的人一般都是对此学科一知半解的人。 在工程上，深度学习的目的不是理解人脑的本质，也不是需要制造一个类人的生命体，而是构建有用的机器。神经网络(artificial neural networks)能够帮助我们建立更好的计算机系统，用以处理信息。 人脑也是一种处理信息的装置，具有非凡的鞥努力并且在视觉、语音、语义等方面都超过了目前的工程产品，目前研究的方向是用形式算法定义人脑处理这些任务的解，并在计算机上实现此过程。;1989年，计算机已经可以学习识别人类讲话，并且用到了神经网络学习方法和隐马尔科夫模型学习方法； 1989年，机器学习方法已经被用于训练计算机控制车辆，实现无人驾驶； 1995年，决策树学习算法已经被NASA用来分类天体； 1995年，计算机已经可以通过学习，在博弈类游戏中击败人类。 人工神经网络的研究历史和数字计算机一样长。1943年，McCulloch和Pitts提出了人工神经网络的第一个数学模型。1962年提出了感知器和学习算法。1969年有人指出了单层感知器的局限性。1986年后，后向传播被发明，单层感知器局限性不复存在。 由于深度学习是机器学习的一个子集，讨论时我们混用这两个名词。;人工智能 贝叶斯方法 计算复杂性理论 控制论 信息论 哲学 心理学和神经生物学 统计学;根据Marr(1982)年理论，理解一个信息处理系统，具有三个被称为分析层面的内容： 计算理论(computational theory)对应计算目标和任务的抽象定义。 表示和算法(representation and algorithm)是关于输人和输出如何表示和从输入到输出变换的算法说明。 硬件实现(hardware implementation)是系统的实物物理实现。;?;最简单的分离器设计;感知器定义了一个超平面，而神经网络感知器事不过是实现超平面的一种方法。给定数据样本，权重可以离线计算，并且将其带入后，感知器就可以用来计算输出的值。 在训练神经网络时，若果未提供全部样本，而是逐个提供实例，则我们通常使用在线学习，并且在每个实例之后更新网络参数，让给网络缓慢的及时调整。这是目前比较常见的一种训练方式。 对于在线学习，不需要全部样本而是需要单个实例上的误差函数。从随机初始权重开始，每次迭代中，我们都对参数稍作调整，以最小化误差，而不是忘记先前学习的。若误差函数可微，则可以使用梯度下降方法。 具有单层权重的感知器，只能逼近输入的线性函数，不能解决XOR类型的问题，这些问题的判别式是非线性的。类似的，这种感知器也不能用于非线性回归。鉴于此，MLP可以实现非线性的判别。;这是在训练多层感知器时提出的一个概念。 训练多层感知器与训练感知器是一样的。唯一区别是现在的输出是输入的非线性函数，这要归咎于隐藏单元中的非线性偏倚函数。 在对于多层感知器，计算梯度时误差就向传回到输出一样，所以创造了这个术语。; 对于人脸识别(face recognition)。输入是人脸图像，类是需要识别的人，并且学习程序应当学习人脸图像与身份之间的关联性。人脸会有更多的类，输入图像也更大一些，并且人脸是三维的，不同的姿势和光线等都会导致图像的显著变化。另外，对于特定人脸的输人也会出现问题，比如说眼镜可能会把眼睛和眉毛遮住，胡子可能会把下巴盖住等。;对于医学诊断(medical diagnosis)。输人是关于患者的信息，而类是疾病。输入包括患者的年龄、性别、既往病史、目前症状等。当然，患者可能还没有做过某些检查，因此这些输入将会缺失。检查需要时间，还可能要花很多钱，而目、也许还会给患者带来不便。因此，除非我们确信检查将提供有价值的信息，否则我们将不对患者进行检查。在医学诊断的情况下，错误的诊断结果可能会导致我们采取错误的治疗或根本不进行治疗。在不能确信诊断结果的情况下，分类器最好还是放弃判定，而等待医学专家来做决断。;在语音识别(speech recognition) ,输人是语音，类是可以读出的词汇。这里要学习的是从语音信号到