大数据相关分析综述.pdfVIP

书第３９卷　第１期 ２０１６年１月 计　　算　　机　　学　　报 ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｖｏｌ．３９ Ｎｏ．１ Ｊａｎ．２０１６ 　 收稿日期：２０１５０４１７；在线出版日期：２０１５０９２５．本课题得到国家自然科学基金Ｕ１４３５２１２、国家“九七三”重点 基础研究发展规划项目基金（２０１３ＣＢ３２９４０４）、山西省高等学校创新人才支持计划（２０１３０５２００６）资助．梁吉业，男，１９６２年生，博士，教授， 中国计算机学会（ＣＣＦ）理事，主要研究领域为粒计算、数据挖掘与机器学习．Ｅｍａｉｌ：ｌｊｙ＠ｓｘｕ．ｅｄｕ．ｃｎ．冯晨娇，女，１９７７年生，博士研究 生，讲师，主要研究方向为数据挖掘、统计学习方法、大数据相关分析．宋　鹏，男，１９７９年生，博士，副教授，主要研究方向为智能决策、数 据挖掘． 大数据相关分析综述 梁吉业１）　冯晨娇１），２）　宋　鹏１），３） １）（山西大学计算智能与中文信息处理教育部重点实验室　太原　０３０００６） ２）（山西财经大学应用数学学院　太原　０３０００６） ３）（山西大学经济与管理学院　太原　０３０００６） 摘　要　大数据时代，相关分析因其具有可以快捷、高效地发现事物间内在关联的优势而受到广泛的关注，并有效 地应用于推荐系统、商业分析、公共管理、医疗诊断等领域．面向非线性、高维性等大数据的复杂特征，结合现有相 关分析方法的语义分析，文中从统计相关分析、互信息、矩阵计算、距离４个方面对大数据相关分析的现有研究成 果进行了梳理．在对统计学中的经典相关分析理论进行归纳、总结的基础上，文中从大规模数据的通用性和均等性 视角阐述了基于互信息的两个变量间非线性相关分析理论，从高维数据可计算的角度分析了基于矩阵计算的相关 系数，从非线性、高维性数据的复杂结构方面解析了基于距离的相关系数．进一步地，该文在对已有相关分析方法 进行分析与比较的基础上，围绕高维数据、多变量数据、大规模数据、增长性数据及其可计算方面探讨了大数据相 关分析的研究挑战． 关键词　大数据；相关分析；相关系数；信息熵 中图法分类号 ＴＰ１８　　　犇犗犐号 １０．１１８９７／ＳＰ．Ｊ．１０１６．２０１６．００００１ 犃犛狌狉狏犲狔狅狀犆狅狉狉犲犾犪狋犻狅狀犃狀犪犾狔狊犻狊狅犳犅犻犵犇犪狋犪 ＬＩＡＮＧＪｉＹｅ１）　ＦＥＮＧＣｈｅｎＪｉａｏ１），２）　ＳＯＮＧＰｅｎｇ１），３） １）（犓犲狔犔犪犫狅狉犪狋狅狉狔狅犳犆狅犿狆狌狋犪狋犻狅狀犪犾犐狀狋犲犾犾犻犵犲狀犮犲犪狀犱犆犺犻狀犲狊犲犐狀犳狅狉犿犪狋犻狅狀犘狉狅犮犲狊狊犻狀犵狅犳犕犻狀犻狊狋狉狔狅犳犈犱狌犮犪狋犻狅狀， 犛犺犪狀狓犻犝狀犻狏犲狉狊犻狋狔，犜犪犻狔狌犪狀　０３０００６） ２）（犛犮犺狅狅犾狅犳犃狆狆犾犻犲犱犕犪狋犺犲犿犪狋犻犮狊，犛犺犪狀狓犻犝狀犻狏犲狉狊犻狋狔狅犳犉犻狀犪狀犮犲牔 犈犮狅狀狅犿犻犮狊，犜犪犻狔狌犪狀　０３０００６） ３）（犛犮犺狅狅犾狅犳犈犮狅狀狅犿犻犮狊犪狀犱犕犪狀犪犵犲犿犲狀狋，犛犺犪狀狓犻犝狀犻狏犲狉狊犻狋狔，犜犪犻狔狌犪狀　０３０００６） 犃犫狊狋狉犪犮狋　Ｉｎｔｈｅｂｉｇｄａｔａｔｉｍｅ，ｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓｈａｓａｔｔｒａｃｔｅｄｍｕｃｈａｔｔｅｎｔｉｏｎｆｏｒｉｔｓｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙｉｎａｎａｌｙｚｉｎｇｉｎｈｅｒｅｎｔｒｅｌａｔｉｏｎｏｆｔｈｉｎｇｓ，ａｎｄｂｅｅｎｅｆｆｅｃｔｉｖｅｌｙａｐｐｌｉｅｄｔｏｍａｎｙｆｉｅｌｄｓ ｉｎｃｌｕｄｉｎｇｒｅｃｏｍｍｅｎｄｅｒｓｙｓｔｅｍ，ｂｕｓｉｎｅｓｓａｎａｌｙｔｉｃｓ，ｐｕｂｌｉｃａｄｍｉｎｉｓｔｒａｔｉｏｎａｎｄｍｅｄｉｃａｌｄｉａｇｎｏｓｉｓ． Ｂｉｇｄａｔａｉｓｕｓｕａｌｙｎｏｎｌｉｎｅａｒａｎｄｈｉｇｈｄｉｍｅｎｓｉｏｎａｌ．Ｏｎｔｈｅｃｏｎｓｉｄｅｒａｔｉｏｎｏｆｔｈｅｓｅｃｏｍｐｌｅｘｃｈａｒａｃ ｔｅｒｉｓｔｉｃｓａｎｄｔｈｅｓｅｍａｎｔｉｃａｎａｌｙｓｉｓｆｏｒｅｘｉｓｔｉｎｇｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓａｐｐｒｏａｃｈｅｓ，ｔｈｉｓｐａｐｅｒｇｉｖｅｓａ ｄｉｓｃｕｓｓｉｏｎｏｆｅｘｉｓｔｉｎｇｒｅｓｅａｒｃｈｆｉｎｄｉｎｇｓｏｆｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓｆｏｒｂｉｇｄａｔａ．Ｔｈｅｄｉｓｃｕｓｓｉｏｎｉｓ ａｎａｌｙｚｅｄｆｒｏｍｆｏｕｒａｓｐｅｃｔｓｉｎｃｌｕｄｉｎｇｓｔａｔｉｓｔｉｃａｌｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓ，ｍｕｔｕａｌｉｎｆｏｒｍａｔｉｏｎ，ｍａｔｒｉｘ ｃａｌｃｕｌａｔｉｏｎａｎｄｄｉｓｔａｎｃｅ．Ｂａｓｅｄｏｎｓｕｍｍａｒｉｚｉｎｇｃｌａｓｓｉｃａｌｃｏｒｒｅｌａｔｉｏｎａｎａｌｙｓｉｓｔｈｅｏｒｙｉｎｓｔａｔｉｓｔｉｃ