神经网络数学基础.ppt

以旋转变换为例，来讨论变换的矩阵表示，看看如何找到该变换的矩阵表示。可以看到展式中的两个系数就是的矩阵中的第一列。从展式中可以得到矩阵表示中的第二列。所以，完整的矩阵表示可以由下式：特征值和特征向量*考虑一个线性交换：：(定义域和值域相同)。分别称满足下式的那些不等于0的向量和标量分别是特征向量和特征值：请注意，特征向量实际上并不是一个真正的向量，而是一个向量空间。所以，给定变换的一个特征向量表示一个方向，当对任何取该方向的向量进行变换时，它们都将继续指向相同的方向，仅仅是按照特征值对向量的长度进行缩放。如果某个变换有n个不同的特征值，则可以保证得到该变换n个线性无关的特征向量，因此特征向量组成变换的向量空间的一个基集。性能曲面和最优点*介绍的是一类称为性能学习的神经网络训练的基础知识。神经网络有几种不同类型的学习规则，如联想学习(Hebb学习)和竞争学习。性能学习是一类重要的学习规则，其目的在于调整网络参数以优化网络性能。主要目的是研究性能曲面，并确定性能曲面存在极大点和极小点的条件。性能优化*这种优化过程分两个步骤进行。第一步是定义“性能”的含义。换言之，需要找到一个衡量网络性能的定量标准，即性能指数，性能指数在网络性能良好时很小，反之则很大。优化过程的第二步是有哪些信誉好的足球投注网站减小性能指数的参数空间(调整网络权值和偏置值)。泰勒级数*假定性能指数是一个解析函数，它的各级导数均存在。向量的情况*神经网络的性能指数并不仅是一个纯量的函数，它是所有网络参数(各个权值和偏置值)的函数，参数的数量可能是很大的。因此，需要将泰勒级数展开形式扩展为多变量形式。方向导数*最大斜率在什么方向上?当方向向量与梯度的内积最大时斜率最大，故当方向向量与梯度同向时会出现最大斜率(注意方向向量的长度对此没有影响，因为它已被规格化)。极小点*一、信息获取

在现阶段计算机都只能处理某种形式的电信号，而待识别的样本大都是非电信息，例如癌细胞病理切片，语音信号，待识别文本，图像等，这就需要将这些以各种不同形式表现的信息通过传感器转换成电信号。如用话筒将声音信号转换成电信号，表现出电压(电流)随时间变化的复杂波形。景物信息在摄像机成像并转换成二维的象素矩阵，每个像素(矩阵元素)的电信号与物体表面反射的光强或颜色信息呈现函数关系。因此信号获取环节主要是由不同形式的传感器构成，它实现信息获取与信息在不同媒体之间的转换。

二、预处理

预处理主要是指去除所获取信息中的噪声，增强有用的信息，及一切必要的使信息纯化的处理过程。

预处理这个环节内容很广泛，与要解决的具体问题有关，例如，从图象中将汽车车牌的号码识别出来，就需要先将车牌从图像中找出来，再对车牌进行划分，将每个数字分别划分开。做到这一步以后，才能对每个数字进行识别。以上工作都应该在预处理阶段完成。

三、特征选择和提取

这个环节包含着丰富的内容，在不同场合有不同的含义。一般说来它包括将所获取的原始量测数据转换成能反映事物本质，并将其最有效分类的特征表示。这个环节的输入是原始的量测数据(经过必要的预处理)，例如由声波变换成的电信号，表现为电压电流幅度随时间的变化，二维图像每个像素所具有的灰度值等。这些数据包含着所需信息的原始形式，但它往往不适合于分类器直接使用。特征提取模块将原始量测数据转换成有效方式表示的信息，从而使分类器能根据这些信息决定样本的类别。前面说过待识别的样本及模式都是用特征进行描述的，识别与训练都是在特征空间中进行的。而原始数据是由所使用的量测仪器或传感器获取的，这些数据组成的空间叫测量空间。因此特征的选择与提取模块的功能是：对所获取的信息实现从测量空间到特征空间的转换。第四章将对此作进一步讨论。

特征选择和提取就是说选择什么样的方法来描述事物，从而可以有效、牢靠地把事物正确地区分开。我们先举一个数字识别的例子来说明特征选择的重要性。*神经网络的数学基础信号和权值向量空间*将神经网络的输入、输出以及权值矩阵的行作为向量看待是非常有好处的。这些都是中的向量。是标准的n维欧基里德空间线性向量空问*如图1所示。显然它是一个向量空间，并且对于向量加和标量乘全部满足10个条件。的子集又将如何?考虑图2中方框内的区域x。向量x和y在区域内，但是x+y却可能不在的区域内。从这个例子可以看出，任何限定边界的集合都不可能是向量空间。所有经过坐标轴原点的直线都满足上述10个条件。但是，如果直线不经过坐标轴的原点，那么至少这种直线不能满足第4个条件。如果已经习惯于将向量看作是一列数字，那么这两个元素的确是奇怪的向量。但是请记住：一个集合只要满足上述10个条件，就可以被认为是一个向量空间。例如