机器学习算法和理论之学习（Learning）.ppt

Thanks for your attention ! Web: 210.34.16.10 function approach and smoothing 设计风险最小化原则验证 function approach and smoothing The minimum of the design risk defines the best control-parameter set for function approach and smoothing 设计风险最小化原则验证 GVM: SVM: 与传统方法的比较 Obtained using ‘nnd11gn’ in the book of Neural Network Design By Martin T. Hagan etc., N=4, 1-4-1 N=9, 1-9-1 Example: 与传统方法的比较 好处是（1）整体拟合（2) 速度快 (3)通用 i=6 i=8 y x x y N=100 20 samples Hermit Polynomial N=100 20 samples N=100 20 samples In the text book of V.N. Vapnik, The Nature of Statistical Learning Theory, second edition, the used 100 samples for even the first case N=200 40 samples “For a network to be able to generalize, it should have fewer parameters than there are data points in the training set” However, here I used 800 parameters, but only 40 data points GVM学习理论的主要内容: (1) 学习理论追求样本之外的额外信息,使学习机具有最强的推广能力 (2) 推广能力来自于融入学习机的先验知识 (3)先验知识分为共性先验知识和问题依赖先验知识 (4)设计风险最小化原则最大化共性先验知识 (5)传输函数,cost函数等的选择最大化问题依赖先验知识 (6)一般向量取代支持向量 (7)MC算法 arXiv:1704.06885?[stat.ML] 应用之复制动力学 问题和基本思想 方法 一些应用实例 1、问题和基本思想 逆问题之听鼓辩形 通过鼓的声音，能否严格反演出鼓的形状？ 结论：不可以，因为存在多个解 Question：Mark Kac 1966 John Milnor 1964：一对16维的不同环面具有相同的解 Gordon, Webb, and Wolpert，1992： 我的假设：任意一个动力学系统在足够高的空间都存在能给出相同动力学的等价系统。这些系统投影到我们所关心的空间，我们无法通过对输出的时间序列测量区分它们。 ? 2、方法：构造学习机器 Real system input output A learning machine: 学习机-GGVM 3、复制动力学的实例 Artificial neural networks Lorenz system Henon map Sunspot dynamics Variable stars Satellite orbits Artificial neural network I Black System Learning Machine D E A B C Artificial neural network II 复制Lorenz系统的动力学 复制Lorenz系统的动力学 重现演化史 复制太阳动力学—Sunspot prediction 短期预测 长期预测 复制变星动力学— chaotic variable stars 规律一点的变星 量子学习机 J. Biamonte, et. al: arXiv:1611.09347. 为什么要量子? 其他应用 图像修复，利用我们的神经网络进行图像修复，可以得到和传统的方法至少相同的效果（左：修复前，右：修复后），只是目前计算速度比较慢。 多层反馈网络应用 机器学习理论及其应用 赵鸿 厦门大学物理系 2017西安统计物理暑期班 一、机器学习算法和理论 二、应用 (1)函数拟合 (2)复制动力学与时间序列预测 (3)分类与识别 提纲 基本概念 神经元的数学模型 神经元传输函数 不同增益因子的双曲正切函数 神经网络 神经网络学习机 ——特指阶越形函数为传输函数的学习机 神经网络的推广：一般学习机（Learning machine）