人工智能的数学基础PPT第3章 函数与泛函分析.ppt

导数 Hessian矩阵与函数凸性 若 为半正定矩阵，则对于任意的求导方向 ，二阶导数 恒成立 凸函数（二阶导数恒大于0，一阶导数递增） 均为半负定矩阵 凹函数 实对称阵 导数 散度 n维向量 为自变量的函数 将 映射为另一同维向量 ，即 ，则函数 的散度 汉密尔顿算子 称作拉普拉斯算子 导数 散度 可证明 微积分 微分——函数变化的大小 微分 导数——函数变化的快慢 在x0点可微 在x0点自变量增量 的微分 高阶无穷小 自变量增量的线性函数 若 ，则函数值增量 与函数微分 是 的等价无穷小，所以 类似地，若自变量也存在微分 ，则 微积分 可微条件：函数 在 处可导 函数 在 处可微 微分 微商 微积分 微分 全微分 函数的全微分 微积分 当 时，由微分与导数关系得 由函数曲线、割线、切线得位置关系，以及函数微分得定义，可得 ，即弧微分 密切圆与曲率 曲率定义： 记作 微积分 密切圆与曲率 密切圆 曲率圆 渐屈线、渐伸线 设函数 在某区间上有定义，若该区间上存在一个函数 ，对区间内任意元素有 原函数 原函数不定性 函数 的全体原函数，称作函数 的不定积分，记作， 且 微积分 先积分再求导结果不变 先求导再积分结果差一个常数 被积函数中常数因子可提到积分符号外 函数和/差的积分等于函数积分的和/差 不定积分 微积分 定积分 若存在 函数的不定积分为一簇函数，而函数的是定积分为一个实数值 积分区间开闭性不影响定积分结果 微积分 积分中值定理 定积分 定积分是一个数值，几何上与面积有关。那么，如何计算定积分值呢？ 变上限积分函数 微积分 牛顿-莱布尼兹公式 定积分 几何意义 中值定理 多重定积分？？ 泛函数分析 以函数为自变量的函数，称作范函 真实函数 估计函数 差异度 定义域是函数集合，若考虑所有可能的函数，则该集合构成一个函数空间 曲线弧长公式定义一个范函 一个可能的最优化问题是，求解使得指定区间内弧长最短的曲线方程 以上定义的范函模型求解十分困难，现有的数据驱动的人工智能方法，多采用选定一类函数，如线性模型、通过激活函数构造的非线性模型等，由训练集学习最优控制参数的策略降低问题求解难度。 泛函数分析 基函数与函数内积 当 ，也即 时，无限维向量 与函数 无限接近，可认为二者相等。 任意两个函数 与 的内积 以上定义的函数内积即是函数的函数，是一个范函 由微积分定义，可得 泛函数分析 特征值与特征函数 则称二元函数 对应的矩阵 是对称半正定的 与向量类似，给定对称半正定函数 ，若存在一元非零函数 与实数 ，使得 则称一元函数 是 的特征函数，实数 为特征值 与一元函数--无限维向量类似，二元函数--无限个无限维向量构成的矩阵 若 且对于任意 f(x)，下式恒成立 泛函数分析 特征值与特征函数 对于两个不同特征值 与 ，与其对应的特征函数分别为 与 ，则 由于 ，且 与 均为非零函数，所以 特征函数相互正交 泛函数分析 特征值与特征函数 与二元函数 对应矩阵是无限维的，所以存在无穷多个特征值 与特征函数 特征函数 是函数空间的一组正交基 希尔伯特空间 坐标 泛函数分析 希尔伯特空间 正交基 核再生 函数内积 泛函数分析 希尔伯特空间 核技巧 对称正定 集合 集合运算 集合 凸集分离定理 设集合 ，对于任意两个元素 与 ，以及任意实数 ，若与n维向量 对应的向量元素 恒成立，其中， ，则称S为凸集 凸集 非凸集 设 与