生态环境保护中大数据技术的运用探讨的论文.docVIP

生态环境保护中大数据技术的运用探讨的论文 　　 　　1引言 　　 　　生态环境的保护问题具有复杂性和时变性涉及多部门、多地区和多领域需要处理海量的各类数据这为问题的解决增加了不小的难度[1].本文从分析生态环境相关数据入手对利用大数据技术整合各类生态环境相关的数据资源建立生态环境大数据平台的架构及关键技术展开论述 　　 　　2生态环境相关数据的现状分析 　　 　　目前应用于生态环境保护领域的数据资源主要包括三类： 　　 　　地面监测数据：此类数据主要来源于各地的生态环境在线监测系统由于各系统开发时期不同技术手段各异数据格式多样各系统之间很难形成信息共享 　　 　　遥感监测数据：此类数据主要来源于卫星遥感数据和航空遥感数据 　　 　　地理信息数据：此类数据的来源主要有野外采集、地图数字化和航天遥感采集、摄影测量等 　　 　　目前传统的信息化技术在环境数据整合工作中仍占据主导地位而利用大数据技术实现上述三类数据的统一存储、协调工作真正建立起实用价值大适用性广泛的生态环境大数据平台还没有相关的工作开展 　　 　　3大数据技术概述 　　 　　大数据技术是近年来兴起的一种综合性信息技术[2],对于处理超出传统数据库系统存储、管理和分析处理能力的多来源的、海量的数据集群具备天然的技术优势大数据技术的主流应用框架是Hadoop生态系统它以HDFS分布式文件系统和MapReduce分布式计算框架为核心可以对大数据进行高效的分布式处理 　　 　　4大数据平台的构建 　　 　　生态环境问题涉及大气、土壤、水、生物圈、气候等方方面面为此我们在推进大数据技术与生态环境保护工作相互结合的过程中采取了以点带面逐步推进的策略 　　 　　在本文中我们选取对环境影响比较突出的大气污染问题作为研究的切入点利用Hadoop生态系统中的HDFS技术建立起秦皇岛地区的大气污染防治大数据平台未来通过建立基于此平台的大气业务应用系统我们可以对秦皇岛地区的大气污染物来源情况进行准确有效的分析这一应用模式的探索也将为未来更广泛生态环境数据的综合性分析与应用打下良好的基础 　　 　　平台所采用的地面监测数据包括：工业企业污染排放情况、火电企业污染排放情况、钢铁冶炼企业污染排放情况、水泥企业污染排放情况等 　　 　　平台所采用的遥感气象数据主要是用美国国家环境预报中心（NCEP）发布的FinalOperationalGlobalAnalysis（FNL）资料[3].我们不直接使用FNL的原始数据而是采用经过NOAAAirResourcesLaboratory（ARL）预处理模块转化后的数据基于FNL资料可以计算在某一时段内抵达秦皇岛地区的后向气流轨迹从而有助于配合地面监测数据揭示秦皇岛地区大气污染的可能来源 　　 　　纳入平台的地理信息数据主要有两类：（1）图形数据：此部分数据以矢量图形的形式存储于HDFS系统中它们的来源主要是利用搜狗地图所提供的静态地图API.（2）文本数据：此部分数据包括：a）监测污染源的位置数据；b）交通拥堵情况；c）气流轨迹数据：此类数据由FNL资料计算而得各类文本数据都将构成独立的图层利用搜狗地图提供的API,标注于图形数据之上 　　 　　5关键技术研究 　　 　　各类数据会被存入统一的大数据平台我们采用Hadoop分布式集群结构作为大数据平台的存储结构我们使用100台PC级电脑构建起分布式数据存储集群每个节点同时承担计算和存储的角色各个数据节点中存放大气污染相关的大数据元数据主节点则存放各类大数据在数据节点中的副本分布位置元数据辅助节点承担与元数据主节点类似的任务当元数据主节点宕机时可以重新启动元数据主节点元数据主节点上保存着访问HDFS文件系统的索引信息它们主要来源于数据预处理过程中提取的元数据对于修改元数据主节点信息的操作事务日志中都会插入相应的记录而数据索引到数据存储的映射副本的位置及编号等信息都存储在元数据主节点所在的本地文件系统中的一个映射文件中 　　 　　对于大数据而言要想实现数据的高效稳定的访问机制需要做好两方面的工作：（1）对数据分块存储并建立适宜的物理数据副本规模；（2）采用适宜的副本存放策略和数据读写策略[4].我们采取了搜集数据访问反馈信息的策略利用统计学方法实现了副本规模的动态调整而对于副本的存放策略我们考虑将不同副本存放于不同机架的电脑上以保证一个机架出现故障时不致丢失数据并且还能在读数据时充分利用不同机架的带宽数据的读取策略则采用从距离读请求节点最近的存储节点上读取数据同时我们将对数据加工的相关业务代码从加工请求所在的电脑发送至数据副本所在的电脑执行尽可能不在电脑之间进行数据副本的传递以提高写数据的效率 　　 　　6结论 　　 　　本文将大数据技术引入生态环境保护的工作之中将秦皇岛