基于Hadoop物联网数据挖掘算法分析与应用.docVIP

基于Hadoop物联网数据挖掘算法分析与应用 　　摘 要： 介绍了物联网数据处理的若干关键技术，如大数据采集、大数据存储、大数据的分析与挖掘等。以Hadoop为平台对物联网数据进行挖掘与分析，为了提高处理庞大数据的实效性，基于MapReduce架构采用了朴素贝叶斯分类算法、K-modes聚类算法以及ECLAT算法。分析认为，应用这三类算法，提高了数据分类效率，优化了类内对象之间的相似性以及类间对象之间的关联性，为更高效的数据挖掘提供了很好的思路。 　　关键词： 物联网； Hadoop； 朴素贝叶斯； K-modes； ECLAT 　　中图分类号：TP212.9；TP391.4 文献标志码：A 文章编号：1006-8228（2018）06-29-03 　　Analysis and application of data mining algorithm for Internet of Things based on Hadoop 　　Chen Juan 　　（Guangling College of YangZhou University， Yangzhou， Jiangsu 225127， China） 　　Abstract： Some key technologies of data processing for Internet of Things are introduced， such as big data acquisition， big data storage， big data analysis and mining. In this paper， the data of Internet of Things is excavated and analyzed on Hadoop platform， In order to improve the effectiveness of large data processing， Naive Bayesian classification algorithm， K-modes clustering algorithm and ECLAT algorithm are adopted in MapReduce framework. The analysis shows that the application of these three kinds of algorithms improves the efficiency of data classification， optimizes the similarity among the objects in the class and the correlation among the objects between classes， and provides a good idea for more efficient data mining. 　　Key words： Internet of things； Hadoop； Naive Bayesian； K-modes； ECLAT 　　0 引言 　　当前计算机技术发展迅速，物联网是在计算机、互联网之后信息产业发展的第三次浪潮，它必将成为社会发展的重要推力，它能够实现人与人、人与物和物与物之间的沟通与交流。物联网的兴起也必将再次引发数据的快速增长，对许多行业来说既是更严峻的挑战，也是更宝贵的机遇。物联网正在深刻改变着人们的生活习惯、工作方式。 　　本文主要采用Hadoop分布式系统架构处理物联网环境下的大数据，Hadoop是一个分布式计算平台，具有高可靠性、高扩展性、高效性以及高容错性等优点。其主要由三大部分构成，HDFS（Hadoop Distributed File System）分布式文件系统、Hadoop MapReduce分布式计算模型和 HBase 分布式数据库。 　　因此，如何更好地应用Hadoop计算平台处理好物联网大数据，将是一个待攻克的难题。本文主要分析如何运用Hadoop平台处理大数据的理论依据，以及物联网的应用前景。 　　1 物联网概述 　　物联网[1]底层网络通过RFID（Radio Frequency Identification）、WSNs（Wireless Sensor Networks）、?o线局域网等网络技术采集物物交换信息并传输到智能汇聚网关，通过智能汇聚网关接入到网络融合体系，最后利用包括广播电视网、互联网、电信网等网络途径使信息到达终端用户应用系统。作为底层的数据感知层次[2]，在这个阶段主要感知各种各样的信息内容，例如二维标签、识别器、摄像头信息、传感网络等。然后，整理收集到的数据通过