基于idl和statstream的通用海量数据3d显示技巧研究[必威体育精装版].ppt

基于IDL和StatStream的通用海量数据3D显示技术研究 1.研究背景 海量数据用来形容巨大的、空前浩瀚的数据。 现在很多业务部门中都需要操作海量数据，如规划部门的规划数据，水利部门的水利、水文数据，气象部门的气象数据，这些部门处理的数据量都非常大。 从大规模的、没有关系的数据中获得我们所需要的信息，我们称之为海量数据分析处理。 三维可视化是使用计算机研究和实现体数据在计算机中的表示、采样、存储、变换、重建、交互操作和显示。它是一门基于图像处理、图像分析、计算机视觉、计算机图形学和生物医学工程等相关学科的交叉学科，已有二十多年的发展历史。 三维可视化的任务就是揭示物体内部复杂的结构，使人们能够看到通常情况下所看不到的物体内部结构。通过三维可视化技术可以将抽象的科学数据以人的视觉能够接受的形式显示在人们面前，便于人们的判断分析。 2.国内外研究现状 海量数据的研究由来已久，三维显示的技术也比较成熟了，但是，海量数据的三维显示技术研究还比较少。现在比较常见的是人体可视化计划，美国国家医学图书馆在1994年和1995年相继推出了世界首例男女两尸体的高精度搞分辨率图像数据集。 中国是第三个拥有自己可视化人体数据集的国家，第三军医大学的张绍祥教授主持的人体可视化研究项目组在2002和2003年相继推出了中国首例男女两具人体的高精度、高分辨率的图像数据集，目前该项目已经成功推出5具人体的高分辨率的数据集 大部分研究是采用高性能计算机来完成，对硬件要求比较高。 3.研究中用到的工具 StatStream：StatStream算法使用DFT约简维度, 建立基于约简维度k的球形网格投影方法来寻找近邻。扫描方法时间与数据流数目Ns平方成比例，而StatStream系统的时间主要依赖网格的计算时间，它与网格单元平均流数目的平方成比例， 从而StatStream计算成本大大减少。在基于秒记录的500G美国股票交易数据的实验中, 它能在150秒的时间内报告10,000个以上数据流的相关性，是处理海量数据的有效手段。 IDL语言：IDL 是美国 RSI 公司开发的面向矩阵的 第四代可视化语言。IDL 的主要特点有： （1）完全面向矩阵运算，具有快速处理和分析大规模数据的能力。 （2）支持多种标准格式和自定义格式的数据输入和输出。 （3）提供了强大的信号处理和图像处理分析能力。 （4）采用先进的图形技术和 OpenGL 图形加速技术，具有交互式数据可视化能力。 （5）IDL的Windows版本提供了名称为IDLDrawWidget的Activex控件，该控件提供了在Windows应用程序中集成idl的机制，以此来为外部程序提供数据分析和可视化的功能。 4.主要完成的任务及技术难点分析 主要完成的任务： 本论文希望对海量数据进行有效的约简，使约简数据能够达到普通计算机处理的范围，并利用idl对约简数据进行逼真的三维显示。 (1)研究C#与IDL的混合编程原理，弄清C#与IDL的参数传递机制，尤其是三维数组的传递方式。IDL中的数组是按列存储的，C#中的数组是按行存储的。数组进行传递时要重新进行元素的排列。 (2)研究海量数据的约简、查询方法。首先对 数据做分块处理，对每个块的数据进行DFT变换，把数据看作是一个离散信号，将其分解成有限个正弦函数和余弦函数的加权和，组成傅立叶系数。 由于 DFT变换能够将信号大部分能量集中到前k个离散傅立叶系数中，而且能够较好地保持数据的主要形态，选择前k个傅立叶系数来表征数据。 基于StatStream算法，利用前k个傅立叶系数对分块的数据进行相似性查询，得到相似的数据块，建立数据块索引。 同时，对每块的数据进行统计学分析，利用统计的数据对海量数据进行有效的压缩，在普通计算机硬件的基础上尽可能精确的显示三维数据的内部信息。使计算机处理时间和数据精度能达到较好的统一。 (3)基于IDL设计一款通用的三维显示软件。软件主界面采用先进的界面技术设计,使界面更完善，更人性化。 用户在普通计算机上处理海量三维数据时能达到处理速度和显示精度的良好统一。 还能进行交互操作，包括图像的放大、缩小、旋转、移动。更重要的是在图像放大时能通过索引查询所需的分块数据，显示局部的精细三维图像。 技术难点分析： 1.大部分相似性查询技术是根据一维序列进行研究的，要把一维相似性查询技术引入三维数据，对三维体数据进行有效的索引查询。 2.在交互操作时，放大图像显示精确的内部细节时，要分块提取数据，以显示局部高分辨率的图像。 5.已取得的成果 研究了C#与IDL的混合编程原理，普通量级的三维