Hadoop 平台下森林物联网多环境参数关联研究.docVIP

Hadoop 平台下森林物联网多环境参数关联研究 　　摘要：基于南京某森林TB量级关于无线传感器网络持续记录的森林的大气温度、土壤湿度以及土壤温度的大数据，利用Google公司的Hadoop云计算平台对数据进行分析，进而研究气温、土壤湿度对土壤温度的影响。利用Hadoop平台下的MapReduce框架对传感器传回的数据进行噪声处理、二次排序等操作，并综合利用MATLAB、SPSS等软件对数据进行综合处理分析，进而研究气温土壤湿度对土壤温度的影响，而土壤温度对植株处于良好的生长状态具有重要现实意义[1]。 　　关键词：大数据；云计算；物联网；Hadoop；MapReduce 　　中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2015）30-0200-04 　　Research on Relevance between Multiple Environmental Parameters in Internet of Things for Forest Based on Hadoop 　　YANG Bo-wen，WANG Zi-yan，LIU Xiao-feng，ZHU Zheng-li 　　（School of Information Science and Technology， Nanjing Forestry University， Nanjing 210037， China） 　　Abstract： The TB level of data about the atmospheric temperature， soil moisture， and soil temperature in Nanjing’s forest is measured by Wireless Sensor Networks. Researchers use Google’s Hadoop cloud computing platform to analyze these data， and then study the effect of temperature and soil moisture on soil temperature. Researchers use framework of the MapReduce to carry out the data of the sensor data processing， sorting. In the end， researchers use MATLAB， SPSS and other software to analyze the data， and then to study the effect of temperature and soil moisture on soil temperature， which is considered of strategic importance for plant growth. 　　Key words：big data； cloud computing； Internet of Things； Hadoop； MapReduce 　　1 概述 　　Hadoop是Google公司提出的一个针对大量数据进行分布式处理的软件框架，并且实现了高吞吐率的数据读写以及强大的数据处理能力[2]。针对南京某森林TB量级关于传感器持续记录的森林的大气温度、土壤湿度、以及土壤温度的大数据，要对这大量的数据进行处理，研究它们之间的关系，使用传统的数据处理方法已不太适用。另外，传感器本身较脆弱，由于仪器损坏、电量不足等问题会产生大量的噪声数据，而对大量的噪声数据的处理，也是传统数据分析方法的难题。应用Hadoop平台对大量数据的处理具有十分大的优势。 　　该研究首先会利用Hadoop平台的MapReduce框架对数据进行初步去噪、去重操作，去除一部分无效数据。然后会对数据按气温递增的方式进行排序，如果气温相同，则按土壤相对湿度递增的方式排序。对数据排序的目的是为了方便取出气温相同的数据，进而研究土壤湿度和土壤温度之间的关系。接下来，则按一定方式取出部分数据，进行数据拟合。该研究会利用MATLAB进行数据拟合，从而对气温、土壤湿度与土壤温度的关系进行回归分析，以及会使用SPSS等软件对数据进行分析。 　　2 数据处理方法 　　2.1 MapReduce编程模型 　　MapReduce是Hadoop平台下的一种处理大数据的并行编程模型框架，对于处理TB级及以上的大规模数据效果显著，并且它是一种标准的函数式编程模型[3]。MapReduce模型大致分为3个阶段，分别是数据初始阶段，Map和Reduce阶段，以