各种向量和矩阵的范数的意义-1.ppt

向量和矩阵的范数 马玉玲 2017年03月08日 1 Outline 1.相关概念——学习、误差和目标函数 2.范数概念 3.向量的范数及含义 4.矩阵的范数及含义 2 Outline 1.相关概念——学习、误差和目标函数 2.范数概念 3.向量的范数及含义 4.矩阵的范数及含义 3 Basis knowledge 相关概念——学习 A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. 4 利用经验，改善执行某任务时的系统性能。 Basis knowledge 相关概念——学习 5 Basis knowledge 相关概念——学习 6 Basis knowledge 相关概念——学习 备注：表来自周老师西瓜书课件 7 Basis knowledge 相关概念——学习 函数y=f(x) 备注：本页ppt来自周老师西瓜书课件 8 Basis knowledge 相关概念——学习 线性模型y=wTx+b 备注：表来自周老师西瓜书课件 x(1) x(2) x(3) 插 值 法 9 Basis knowledge 相关概念——学习 备注：表来自周老师西瓜书课件 10 Basis knowledge Empirical error: Generalization error: Error parameter: Predict wrongly I(a): 1 if a=true 0 else 相关概念——误差 假定数据集D The value of ε is dependant on the task 11 相关概念——目标函数  一般来说，监督学习可以看做最小化下面的目标函数： 误差项 正则化项 正则化项可以约束模型的特性。这样就可以将人对这个模型的先验知识融入到模型的学习当中。 范数是正则化的常用方法 12 Outline 1.相关概念——误差和目标函数 2.范数概念 3.向量的范数及含义 4.矩阵的范数及含义 13 范数的概念 范数的目的：对向量及矩阵的“大小”进行度量 14 向量的范数 X∈Rn 为一实向量，X的范式定义如下： L1-norm L2-norm L∞-norm L0范数：指向量中非0的元素的个数 X=[-1 2 -2 ] ||X||0= 3 ||X||1= 5 ||X||∞= 2 ||X||2= 3 15 范数的含义 L0范数：指向量中非0的元素的个数 最小化L0范数 数据稀疏的好处： 存储成本低 2. 自动实现特征选择(Feature Selection) 3. 可解释性强(Interpretability) 应用：病因分析 但是，L0范数很难优化求解，是一个NP-Hard问题。 稀疏 16 范数的含义 L1范数： L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解。所以L1范数被称为“稀疏规则算子”（Lasso ） taxicab Norm，也叫Manhattan Norm 稀疏编码 特征选择 压缩感知 17 范数的含义（ 续…） L2范数：又称“岭回归”（Ridge Regression），“权值衰减（weight decay）”， Euclidean Norm 最小化L2范数，可以使得X的元素值都很小，大都接近于0 18 范数的含义（L2-norm） L2范数的好处： 1.改善“过拟合（overfitting）” 欠拟合underfitting ：训练集上误差很大，即模型不能很好地拟合已有数据； 关于“过拟合”： 在数学上称为“病态”（ill-condition):即函数的输入改变一点点，输出却改变非常大。 过拟合（overfitting） ：模型很好地拟合训练数据，然而在新样本上表现却很差。 L2范数限制了参数都很小，实际上就限制了多项式各分量的影响很小，一定程度上避免了模型出现“病态”的情况。 2.利于优化 19 范数的含义（L2-norm） L2范数的好处： 1.改善“过拟合（overfitting）” 2.利于优化 机器学习中有时候损失函数是非凸的，例如：神经网络。采用梯度下降之类的优化方法时，容易卡住（Stuck in），导致很差的解。 非凸的损失函数 加入L2范数后 20 知识扩展——稀疏性分析： 模型空间限制在w的一个L-ball 中。在(w1, w2)平面上可以画出目