常用数学概念.ppt

常用数学概念 苏州大学强化学习讨论班 常用数学概念 高斯函数 高斯径向基函数 范数 方向导数、梯度 矩阵、特征值、秩、正定矩阵 概率、期望、方差、协方差 函数、最小二乘 高斯函数 高斯函数： a：峰值最大值? b：峰值x轴偏移量 c：弧度跨度? 如： 高斯函数 高斯函数的不定积分是误差函数。在自然科学、社会科学、数学以及工程学等领域都有高斯函数的身影。 核函数 设x,z∈X，X属于Rn空间，非线性函数Φ实现输入空间X到特征空间F的映射，其中F属于Rm，nm。根据核函数技术有： 　 　K(x,z) =Φ(x),Φ(z) (1) 　 其中：, 为内积，K(x,z)为核函数。 从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾”等问题。 核函数 常用的核函数有： 1）高斯核函数： 2）多项式核函数： 3）感知器核函数： 4）样条核函数： 径向基函数 径向基函数 (Radial Basis Function 简称 RBF) 是某种沿径向对称的标量函数。 通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 ， 可记作 k(||x-xc||)，其作用往往是局部的 ， 即当x远离xc时函数取值很小。 高斯径向基函数 最常用的径向基函数是高斯核函数， 形式为: 其中xi为核函数中心， 是计算两个样本的二范数 σ为函数的宽度参数 ，控制了函数的径向作用范围。 高斯径向基函数 高斯径向基函数 ：二维或者多维状态， ：“径”，即函数中心 ：协方差矩阵，表示了状态各维之间的关系？？ 高斯函数 高斯函数是一种函数形式，这种函数形式 既可以用来作为核函数， 也可以用来作为径向基函数。 是计算两个样本的二范数 范数 范数 范数 范数 范数 范数 范数 范数 方向导数 方向导数 方向导数 方向导数 方向导数 梯度 梯度 梯度 梯度 梯度 梯度 梯度 结论： 在点 的梯度为 在该点增长最快 的方向 梯度 矩阵 - 特征值与特征向量 矩阵 - 特征值与特征向量 矩阵 - 特征值与特征向量 矩阵 - 特征值与特征向量 矩阵 - 秩及其求法 矩阵 - 秩及其求法 矩阵 - 秩及其求法 矩阵 - 秩及其求法 矩阵 - 秩及其求法 矩阵 - 秩及其求法 矩阵 - 秩及其求法 矩阵 - 秩及其求法 合同矩阵 正定矩阵 正定矩阵 期望 一个班有40个学生，考80分的概率是20%，考70分的概率是50%，考60分的概率是30% 这个班的平均分是多少？ 求平均方法：总分数/总人数= 求期望方法：80*20%+70*50%+60*30%=69 所以期望从本质上来说，就是平均值 方差 每个同学与平均分69都存在一个差值， 差+11分，共8人； 差-1分， 共20人； 差-9分，共12人 差值平方的平均（期望）： 此即为方差 为标准差，方差或者标准差说明了相互之间差距的大小 方差 方差计算 协方差与相关系数 协方差与相关系数 协方差与相关系数 协方差与相关系数 1、直观上来看，协方差表示的是两个变量总体误差的方差，这与只表示一个变量误差的方差不同。 　 2、如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 　 3、如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。 　 4、如果X与Y是统计独立的，那么二者之间的协方差就是0。 协方差矩阵 协方差矩阵是一个矩阵，其每个元素是各个向量元素之间的协方差。 矩阵中的第(i,j)个元素是xi与xj的协方差，如： 回顾：高斯径向基函数 ：二维或者多维状态， ：“径”，即函数中心 ：协方差矩阵，表示了状态各维之间的线性关系？？谁和谁的协方差？ 条件概率 贝叶斯概率 函数 函数为一个集合到另外一个集合的映射。 如：值日表 函数 函数 函数 公式1：y=x3+x+1 公式2：y=6·x5-ex+9 函数 a=2 b=4 c=7 d=5 函数 如果函数形式修改为： f(x)