基于空间自相关性和模糊集的空间数据噪声点检测-计算机应用与软件.PDF

第３３卷第３期　　　 计算机应用与软件 Ｖｏｌ３３Ｎｏ．３ ２０１６年３月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｍａｒ．２０１６ 基于空间自相关性和模糊集的空间数据噪声点检测算法 朱付保　徐显景　白庆春　朱颢东 （郑州轻工业学院计算机与通信工程学院　河南郑州４５０００２） 摘　要　　大数据时代数据纷繁复杂，同时在数据挖掘过程中数据质量又至关重要，数据质量的高低将直接影响数据挖掘结果的好 坏，但现实中数据缺失和噪声数据的现象在所难免。针对上述问题，通过引入空间对象的自相关性理论和模糊集理论，提出一种基 于空间自相关性和模糊集的空间数据噪声点检测算法。该算法首先运用邻域对象的空间自相关性理论，计算出特定对象与邻域内 其他对象的距离，进而将距离以模糊隶属度的概念予以表达，最后通过与该属性的置信水平进行比较，以此来判定噪声数据。理论 分析和实验对比结果均表明，该算法对于处理空间数据噪声点问题是有效可行的。 关键词　　噪声数据　数据预处理　空间自相关性　模糊集 中图分类号　ＴＰ３１５　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１６．０３．０６２ ＳＰＡＴＩＡＬＤＡＴＡＮＯＩＳＥＤＥＴＥＣＴＩＯＮＡＬＧＯＲＩＴＨＭＢＡＳＥＤＯＮＳＰＡＴＩＡＬ ＡＵＴＯＣＯＲＲＥＬＡＴＩＯＮＡＮＤＦＵＺＺＹＳＥＴ  ＺｈｕＦｕｂａｏ　ＸｕＸｉａｎｊｉｎｇ　ＢａｉＱｉｎｇｃｈｕｎ　ＺｈｕＨａｏｄｏｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＥｎｇｉｎｅｅｒｉｎｇ，ＺｈｅｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｙｏｆＬｉｇｈｔＩｎｄｕｓｔｒｙ，Ｚｈｅｎｇｚｈｏｕ４５０００２，Ｈｅｎａｎ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｄａｔａｓｈｏｗｓｍｏｒｅｃｏｍｐｌｅｘｃｈａｒａｃｔｅｒｉｓｔｉｃｓｉｎｔｈｅｅｒａｏｆｂｉｇｄａｔａ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｑｕａｌｉｔｙｏｆｄａｔａｉｓｃｒｕｃｉａｌｉｎｔｈｅｐｒｏｃｅｓｓｏｆｄａｔａ ｍｉｎｉｎｇａｎｄｗｉｌｌｄｉｒｅｃｔｌｙａｆｆｅｃｔｔｈｅｒｅｓｕｌｔｓｏｆｄａｔａｍｉｎｉｎｇ，ｂｕｔｔｈｅｐｈｅｎｏｍｅｎａｏｆｄａｔａｍｉｓｓｉｎｇａｎｄｎｏｉｓｅｄａｔａａｒｅｉｎｅｖｉｔａｂｌｅｉｎｒｅａｌｉｔｙ．Ａｉｍｉｎｇ ａｔｔｈｅａｂｏｖｅｐｒｏｂｌｅｍｓ，ｂｙｉｎｔｒｏｄｕｃｉｎｇｔｈｅｔｈｅｏｒｙｏｆｓｐａｔｉａｌａｕｔｏｃｏｒｒｅｌａｔｉｏｎｏｆｓｐａｔｉａｌｏｂｊｅｃｔａｎｄｔｈｅｔｈｅｏｒｙｏｆｆｕｚｚｙｓｅｔｗｅｐｒｏｐｏｓｅａｓｐａｔｉａｌ ｄａｔａｎｏｉｓｅｐｏｉｎｔｄｅｔｅｃｔｉｏｎａｌｇｏｒｉｔｈｍ．Ｆｉｒｓｔ，ｔｈｅａｌｇｏｒｉｔｈｍｃａｌｃｕｌａｔｅｓｔｈｅｄｉｓｔａｎｃｅｂｅｔｗｅｅｎｔｈｅｓｐｅｃｉｆｉｃｏｂｊｅｃｔａｎｄｏｔｈｅｒｏｂｊｅｃｔｓｗｉｔｈｉｎｉｔｓ ｎｅｉｇｈｂｏｕｒｈｏｏｄｂｙｕｓｉｎｇｓｐａｔｉａｌａｕｔｏｃｏｒｒｅｌａｔｉｏｎｔｈｅｏｒｙｏｆｎｅｉｇｈｂｏｕｒｈｏｏｄｏｂｊｅｃｔ．Ｔｈｅｎｉｔｅｘｐｒｅｓｓｅｓｔｈｅｄｉｓｔａｎｃｅｂｙｔｈｅｃｏｎｃｅｐｔｏｆｆｕｚｚｙ ｍｅｍｂｅｒｓｈｉｐｄｅｇｒｅｅ．Ｆｉｎａｌｌｙ，ｉｔｄｅｔｅｒｍｉｎｅｓｗｈｅｔｈｅｒｔｈｅｒｅｉｓａｎｏｉｓｅｄａｔａｂｙｃｏｍｐａｒｉｎｇｗｉｔｈｔｈｅｃｏｎｆｉｄｅｎｃｅｌｅｖｅｌｏｆｔｈｅａｔｔｒｉｂｕｔｅ．Ｔｈｅｏｒｅｔｉｃａｌ ａｎａｌｙｓｉｓａｎｄｅｘｐｅｒｉｍｅｎｔａｌｃｏｍｐａｒｉｓｏｎｒｅｓｕｌｔｓａｌｌｓｈｏｗｔｈａｔｔｈｉｓｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅａｎｄｆｅａｓｉｂｌｅｉｎｈａｎｄｌｉｎｇｔｈｅｐｒｏｂｌｅｍｏｆｓｐａｔｉａｌｄａｔａｎｏｉｓｅ ｐｏｉｎｔ． Ｋｅｙｗｏｒｄｓ　　Ｎｏｉｓｅｄａｔａ　Ｄａｔａｐｒｅｐｏｓｓｅｓｓｉｎｇ　Ｓｐａｔｉａｌａｕｔｏｃｏｒｒｅｌａｔｉｏｎ　Ｆｕｚｚｙｓｅｔ