NoSQLt-气象测试汇报2.pdf

气象局测试试验情况 1 第一次测试情况回顾 1.1 数据读写试验 测试环境：DELL 5460 轻薄便携本 1.2 测试项目及结果 利用气象局提供的Python 程序生成数据，并使用脚本语言实现了气象资料写入和读出。 1.3 全球风场绘制试验 全球风场采用的是NCEP 提供的GRIB2 格式全球风场资料，经度和纬度方向间隔均为1°， 每个格点设置为1 个Tag ，共计130,322 Tag ，存入4500rpm 机械硬盘上的NoSQLt 库中后， 实现了单个时间点的风场资料读出和显示。 2 第二次测试情况汇报 2.1 测试环境 服务器：Dell C6100 CPU：Intel Xeon CPU X5650 2.67GHZ （2 处理器，均为6 核，每核2 线程，共计24 线程） RAM：48.0GB 硬盘：Seagate SAS Disk15000rpm136G 操作系统：64 位 Windows Server 2008 R2 Enterprise 图1 测试服务器硬件配置图 图2 测试服务器系统资源图 2.2 测试项目 2.2.1 写入测试试验 气象报文资料入库主要有2 种存储方式，一种是直接在库中存储报文原文，另一种是对 报文做离散处理后存储，即将报文解码后按要素存储。为了获得最大计算优势，我们通常建 议客户将数据做完全离散，也叫数据“抖散”。 “抖散”模式下，数据并非以二进制格式大批量或整文件存储，而是直接以精确到每一 条探测记录的最小粒度，离散数值格式存储，NOSQLt 可以直接支持插值计算、最大值、最 小值、积分平均值、Plot 趋势线或大批次断面求取等操作，还能继续叠加新的挖掘算法，因 此对于计算和挖掘分析很友好。下面是写入测试试验的项目。（A 、B 为气象报文整条写入测 式，C、D 为气象报文 “抖散”后写入测试） A 、测试100 万条气象探测格式数据写入速度，一共2500 测站，每测站31 要素，每测 站400 条测试记录，共计100 万条记录。 B、测试2 线程（客户端） X 100=200 万条气象探测格式数据写入速度，一共2500 测 站，每测站31 要素，每测站400 条测试记录，共计200 万条记录。 C、下面将每测站31 要素离散，测试31 X 100 万=3100 万条离散数据串行写入速度。 D、测试2 线程（客户端）X 31 X 100 万=6200 万条离散数据并发写入速度。 表1 气象探测格式数据与NoSQLt 离散记录格式示意 气象探测格式： 000001 201001010000 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 17.45 NoSQLt 离散记录格式： 2010-01-01-00-00-00:000,17.45,good 图3 趋势线—计算友好示例 2.2.2 写入测试结果 表2 写入测试结果 平均每 写入数 程序 平均每 写 线 平均每条 写入数 秒写入 据总记 运行 秒写入 类 规模 程 数据长度