松原灌区海量数据快速处理方法研究.pdfVIP

第 1O期 (总第 365期) 吉 林 水 利 2012年 1O月 [文章编号】1009—2846(2012)10--0017-02 松原灌区海量数据快速处理方法研究 段建刚．王媛媛 (吉林省水利水电勘测设计研究院，吉林 长春 130012) [摘要]松原灌区项 目初期获取了大量的测绘基础数据，在使用AreGIS软件处理数据时，占用大量的电脑资源，会 导致软件无响应 ．甚至 电脑死机 。这是 由于数据量 比较大和处理程序是单线程程序 的缘故，如果使用多线程程序 来处理海量数据 。可 以完全解决上面遇到的问题 ，而且 由于数据处理算法是一样的，所 以处理结果与单线程程序 的处理结果保持一致 ．基于此方法可以扩展应用到其他海量数据的处理 。 【关键字]C1S；地理信息系统；海量数据处理 [中图分类号】P208 【文献标识码]B 样就不会阻塞主线程 ，~-．-f以完全解决处理海量 1 引言 数据时软件无响应、电脑死机的问题。多线程程序 的运行框架如下图所示。 松原灌区是吉林省哈达山水利枢纽工程 的主 多线程程序框架 要配套工程 ，是全 国特大型灌 区之一 ，规划灌溉面 积为 301万亩。在项 目的基础数据采集阶段采用 全国先进的机载LIDAR航空摄影系统采集灌 区地 亍 面三维点云数据和数字正射影像 图(DOM)，共获 围 得点云数据 40GB，DOM影像数据 140GB，5m规则 格网数字高程模型(DEM)数据 1．4GB。基于此数据 生产灌 区的 1：5000比例尺线划 图(DLG)时，由于 3 应用 数据量巨大，在使用ArcGIS软件处理数据和绘制 线划图时，会 占用大量 的电脑资源 ，导致软件无响 在生产松原灌区的 1：5000比例尺线划图时， 应 ，甚至电脑死机。因此解决此问题就成了生产灌 获 取 了大量 的等 高线 数据 ，使 用 ArcGIS的 区的 1：5000比例尺线划图的首要工作 。 SmoothLine工具光滑处理后 ，等高线 的顶点增加了 很多，导致等高线的数据量剧增，在使用 Simplify— 2 工作原理 line工具做等高线顶点抽稀时经常会发生 电脑死 机的情况。所 以我们开发了这个多线程等高线抽 由于ArcGIS的数据处理工具很多都是单线程 稀程序 DGXSimplify．exe。下面就以此程序为例介 的，数据的处理工作都在主线程中运行。数据量越 绍此多线程程序框架的设计。 大，处理工作就会需要越长的时间。在处理海量数 3．1 抽稀原理 据时，因为主线程长时间阻塞而导致软件无响应 ， 等高线在光滑处理后的顶点非常密集 。在下 甚至 电脑死机。如果使用多线程程序来处理数据 。 面的两种情况下需要对等高线进行抽稀处理。一 可以将数据处理工作放在后 台线程中运行 ，主线 种情况是当制图的比例尺降到一定程度后，等高 程用来更新处理的进度和响应使用者的操作 ，这 线的一些太细的细节已经无法体现：另一种情况 收【稿 日期]2012-08-27 作【者简介】段建刚(1978一)，男，吉林长春人，工程师，主要从事测绘数据处理及GIS软件开发。