08-正则化网络.pdf

第八章 正则化网络 8.0 引言 ? 8.0 引言 ? 模式识别中的“学习”的过程通常是ill- ? 8.1 正则化理论(Regularization Theory) posed 问题： ? 一般没有唯一解； ? 8.2 Reproducing Kernel Hilbert Space (RKHS) ? 复杂程度高的解很多时候是不稳定的 ? 8.3 正则化网络(Regularization (overfitting)。 Networks)、SVM和SRM 8.0 引言 ? 解决的办法： 8.1 正则化理论简介 ? Ockham’s razor （定性）; ? 正则化方法（定量）： ? 对函数集的复杂度加惩罚（与SVM的思想类 似）。 ? 人工神经网络的学习就是ill-posed问题： ? 正则化网络能够在一定程度上克服overfitting 问题。 8.1 正则化理论简介 8.1 正则化理论简介 ?1 ? 问题的提出： ? 上述问题可表示为，求A ： 赋范空间 ? 解方程： A(A?1 y) = y Ax = y, x ∈ X. y ∈Y. 算子 A: X → Y. ? 一般的有逆问题求f： ? 解的稳定性： Af = y f ∈ F, y ∈Y, F和Y是Hibert空间 ? y的小扰动，是否对应x的小扰动？ 算子 A: F → Y A(x + ?x) = y + ?y. 小？ 小 1 8.1 正则化理论简介 8.1 正则化理论简介 ? 逆问题Well-posed与ill-posed： ? 正则化理论(Tikhonov 1943,1963)： ? Hadamard关于well-posed问题的定义： ? 有一大类问题，在Hadamard意义下是ill- ? 存在性：对每个y ∈Y 方程都有解f。 posed问题，但可以找出一个稳定的近似 ? 唯一性：保证对每个y ∈Y 方程都有唯一解f。 解。 ?1 ? 稳定性：A 是连续映射，保证了解的稳定 ? Tikhonov的思想： 性。 y的小