深度学习的基本原理与图片检索项目实践-----自主和泛化-知识.PDF

知识和深度学习的正则化 自主和泛化 崇志宏 Tel: chongzhihong@seu.edu.cn 数据与智能实验室 东南大学 cse.seu.edu.cn/PersonalPage/zhchong 1 2016/9/20 2 2016/9/20 3 2016/9/23 4 2016/9/20 5 2016/9/23 提 ? 正则化的目标 纲 ? 统计效率：小样本和泛化问题 ? 正则化的基本形式：知识注入到网络结构中 ? 权值/激活函数 ? 权值约束/损失惩罚/贝叶斯先验/权值扰动/权值共享 ? 数据/流形假设 ? 敌对训练、噪声 ? 切距离/流形切面分类器 6 2016/9/20 正则化的目标 ? 提高机器学习的泛化能力 ? 小样本数据情形下的泛化能力 ? 偏差和方差的折中 ? 不适定的问题转化为适定问题（不可逆转化为可逆问题） 7 2016/9/23 正则化的一般形式 ? 惩罚和约束 大模型+正则化+近似优化=有效模型 8 2016/9/23 正则化的一般形式 ? 惩罚和约束 大模型+正则化+近似优化=有效模型 9 2016/9/20 正则化的一般形式 ? 惩罚和约束 大模型+正则化+近似优化=有效模型 10 2016/9/23 正则化的一般形式 ? 惩罚和约束 影响神经网络的结构 ① 网络的权值 ② 网络的激活函数 ③ … 手段 ① 直接/间接影响权值 ② 通过样本/知识 大模型+正则化+近似优化=有效模型 11 2016/9/23 参数范数惩罚 12 2016/9/20 13 2016/9/23 14