基于稀疏贝叶斯的流形学习.PDFVIP

第１期 电　　子　　学　　报 Ｖｏｌ．４６　Ｎｏ．１ ２０１８年１月 ＡＣＴＡＥＬＥＣＴＲＯＮＩＣＡＳＩＮＩＣＡ Ｊａｎ．　２０１８ 基于稀疏贝叶斯的流形学习 陈兵飞，江兵兵，周熙人，陈欢欢 （中国科学技术大学计算机科学与技术学院，安徽合肥２３００２７） 　　摘　要：　针对当前监督学习算法在流形数据集上分类性能的缺陷，如分类精度低且稀疏性有限，本文在稀疏贝 叶斯方法和流行正则化框架的基础上，提出一种稀疏流形学习算法（ＭａｎｉｆｏｌｄＬｅａｒｎｉｎｇＢａｓｅｄｏｎＳｐａｒｓｅＢａｙｅｓｉａｎＡｐ ｐｒｏａｃｈ，ＭＬＳＢＡ）．该算法是对稀疏贝叶斯模型的扩展，通过在模型的权值上定义稀疏流形先验，有效利用了样本数据 的流形信息，提高了算法的分类准确率．在多种数据集上进行实验，结果表明：ＭＬＳＢＡ不仅在流形数据集上取得良好 的分类性能，而且在非流形数据集上效果也比较好；同时算法在两类数据集上均具有良好的稀疏性能． 关键词：　拉普拉斯；稀疏贝叶斯；稀疏流形先验；流形正则化 中图分类号：　ＴＰ３９１　　　文献标识码：　Ａ　　　文章编号：　０３７２２１１２（２０１８）０１００９８０６ 电子学报ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎ　 ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．０３７２２１１２．２０１８．０１．０１４ ＭａｎｉｆｏｌｄＬｅａｒｎｉｎｇＢａｓｅｄｏｎＳｐａｒｓｅＢａｙｅｓｉａｎＡｐｐｒｏａｃｈ ＣＨＥＮＢｉｎｇｆｅｉ，ＪＩＡＮＧＢｉｎｇｂｉｎｇ，ＺＨＯＵＸｉｒｅｎ，ＣＨＥＮＨｕａｎｈｕａｎ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙｏｆＣｈｉｎａ，Ｈｅｆｅｉ，Ａｎｈｕｉ２３００２７，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：　Ａｉｍｉｎｇａｔｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅｄｅｆｉｃｉｅｎｃｉｅｓｏｆｃｕｒｒｅｎｔｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓｏｎｍａｎｉｆｏｌｄ ｄａｔａｓｅｔｓ，ｅ．ｇ．ｌｏｗｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙａｎｄｌｉｍｉｔｅｄｓｐａｒｓｉｔｙ，ａｓｐａｒｓｅｍａｎｉｆｏｌｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｓｐａｒｓｅＢａｙｅｓｉａｎ ｉｎｆｅｒｅｎｃｅａｎｄｍａｎｉｆｏｌｄｒｅｇｕｌａｒｉｚａｔｉｏｎｆｒａｍｅｗｏｒｋｉｓｐｒｏｐｏｓｅｄ．Ｔｈｅａｌｇｏｒｉｔｈｍｉｓｃａｌｌｅｄｍａｎｉｆｏｌｄｌｅａｒｎｉｎｇｂａｓｅｄｏｎｓｐａｒｓｅ Ｂａｙｅｓｉａｎａｐｐｒｏａｃｈ（ＭＬＳＢＡ）．ＭＬＳＢＡｉｓａｎｅｘｔｅｎｓｉｏｎｏｆｓｐａｒｓｅＢａｙｅｓｉａｎｍｏｄｅｌ，ｂｙｉｎｔｒｏｄｕｃｉｎｇｓｐａｒｓｅｍａｎｉｆｏｌｄｐｒｉｏｒｓｔｏ ｔｈｅｗｅｉｇｈｔｓ，ｗｈｉｃｈｃａｎｅｆｆｅｃｔｉｖｅｌｙｅｍｐｌｏｙｔｈｅｍａｎｉｆｏｌｄｉｎｆｏｒｍａｔｉｏｎｏｆｓａｍｐｌｅｄａｔａｔｏｉｍｐｒｏｖｅｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｃｃｕｒａｃｙ． Ｅｘｔｅｎｓｉｖｅｅｘｐｅｒｉｍｅｎｔｓａｒｅｃｏｎｄｕｃｔｅｄｏｎｖａｒｉｏｕｓｄａｔａｓｅｔｓ，ａｎｄｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔＭＬＳＢＡｎｏｔｏｎｌｙａｃｈｉｅｖｅｓｂｅｔｔｅｒｃｌａｓｓｉｆｉ ｃａｔｉｏｎｐｅｒｆｏｒｍａｎｃｅｏｎｍａｎｉｆｏｌｄｄａｔａｓｅｔｓ，ｂｕｔａｌｓｏｈａｓｃｏｍｐａｒａｂｌｅｅｆｆｅｃｔｉｖｅｎｅｓｓｏｎｔｈｅｎｏｎｍａｎｉｆｏｌｄｄａｔａｓｅｔｓ，ａｎｄｏｕｒａｌｇｏ ｒｉｔｈｍｈａｓｇｏｏｄｓｐａｒｓｉｔｙｏｎｔｗｏｃａｔｅｇｏｒｉｅｓｏｆｄａｔａｓｅｔｓａｔｔｈｅｓａｍｅｔｉｍｅ． Ｋｅｙｗｏｒｄｓ：　Ｌａｐｌａｃｉａｎ；ｓｐａｒｓｅＢａｙｅｓｉａｎ；ｓｐａｒｓｅｍａｎｉｆｏｌｄｐｒｉｏｒ；ｍａｎｉｆｏｌｄｒｅｇｕｌａｒｉｚａｔｉｏｎ