机器学习相似度度量.ppt

监督度量学习 利用携带标注信息的训练数据进行距离度量学习，能更好的降低“语义鸿沟”的影响。 监督的距离度量学习的主要思想是，利用标注数据学习一个度量矩阵，对样本进行映射变换，使得在变换后的度量空间中，同类样本之间的距离变小，异类样本之间的距离变大，或使得相似的样本距离变小，不相似的样本距离变大。可以通过设定不同的标注信息，使得距离度量结果符合不同的相似度评判标准，因此度量方式的选择更加自由。度量学习机器学习相似度概述第25页,共37页，星期六，2024年，5月监督度量学习（1）基于凸规划的全局距离度量学习方法：该方法学习一个度量矩阵，使非相似样本间距离的平方和最大，同时使相似样本间距离的平方和小于一定值。（2）近邻成分分析：以概率的方式定义点的软邻域，然后通过最大化训练样本的留一法分类错误率学习距离度量矩阵。该方法在训练度量矩阵的同时，保持了相邻数据点之间关系，但不一定能全局最优。（3）区分性成分分析：通过学习一种最优的数据转换使不同“团簇”间的方差和最大，所有“团簇”内的方差和最小。度量学习机器学习相似度概述(1)E.P.Xing,A.Y.Ng,M.I.Jordan,S.Russell．DistanceMetricLearningwithApplicationtoClusteringwithSide-information[J].AdvancesinNeuralInformationProcessingSystems,2002,15:505-512.(2)J.Goldberger,S.Roweis,G.Hinton,R.Salakhutdinov．Neighbourhoodcomponentsanalysis[A].InAdvancesinNeuralInformationProcessingSystems[C].Washington,MITPress,2004:13-18.(3)S.C.H.Hoi,W.Liu,M.R.Lyu,W.Y.Ma．Learningdistancemetricswithcontextualconstraintsforimageretrieval[A].Proceedingsofthe2006IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition[C].Vienna,Austria,2006:2072-2078.第26页,共37页，星期六，2024年，5月监督度量学习（4）基于信息论的距离度量学习方法：在满足约束信息的同时，使学习到的度量矩阵M和根据某种先验知识给出的度量矩阵M0之间的KL散度最小。（5）最大边界近邻分类：分类方法是将样本的K最近邻保持在同一类别中，同时使异类样本之间的边界最大。其损失函数的第一项是惩罚输入样本和其最近邻间的距离，第二项是惩罚异类样本间较小的距离。度量学习机器学习相似度概述(4)J.V.Jason.Davis,B.Kulis,P.Jain,etal．Information-theoreticmetriclearning[A].InProceedingsoftheInternationalConferenceonMachineLearning[C].Florida,USA,2007:209-216.(5)K.Q.Weinberger,J.Blitzer,L.K.Saul．Distancemetriclearningforlargemarginnearestneighborclassi?cation[J].JournalofMachineLearningResearch,2009(10):207-244.(6)吕秀清，图像度量学习技术[D]，2013第27页,共37页，星期六，2024年，5月半监督度量学习 监督度量学习只利用了有限的标注数据，且常会遇到训练数据不足的问题，而实际中却有大量未标注的数据存在。半监督度量学习通过对未标注数据加以利用，以获得更准确的模型。（1）07年，一种基于核的半监督距离度量学习方法（2）09年，通过保留类似于LLE局部线性嵌嵌入）的局部关系学习距离度量（3）Laplacian正则化距离度量学习（LRML），将样本点的近邻看作相似点，联合已有标注数据学习距离度量。