大数据时代的地震勘探软件平台.ppt

32 π-Frame平台技术特色 特色1：规模大 海量地震数据管理支撑：100+PB 大规模并行计算资源支撑：1000+节点（数万~数十万核） 大规模用户、项目、作业支撑：4000+ 单作业处理数据规模大：18TB数据的分选作业 大规模功能扩充支撑 33 π-Frame平台技术特色 特色2：速度快 ■基于分布式文件系统的并行I/O带来的高吞吐能力 68个节点、每个节点4块硬盘的测试系统配置，测试获得了 35GB/s即约2TB/m的I/O性能，约3~5GB/s即200+GB/m的地震 数据加载性能、常规地震批处理作业吞吐性能。 ■全并行化批处理机制带来的大规模并行计算线性扩展能力 融合并行数据I/O和并行计算、数据划分与数据备份、计算任务 容错等特性 支持作业并行、节点并行、Map级数据并行、多线程并行、GPU 异构并行等多级并行模式 34 π-Frame平台技术特色 特色2：速度快 高性能的海量地震数据存取访问 ~1500GB/min 200.93 GB/m 8.1TB 41m17s 并发导入 86个map 472节点 S1JX3.1TB YBD 2TB JSB 3TB （86个文件） 101.7 GB/m 3.1TB 31m12s 一次导入 40个map 472节点 S1JX3.1TB （40个文件） 65.67 GB/m 3.1TB 48m20s 一次导入 40个map 300节点 S1JX3.1TB （40个文件） 运行速率 输入大小 运行时间 应用场景 使用情况 运行环境 数据 35 π-Frame平台技术特色 特色2：速度快 高性能的海量地震数据存取访问：快速数据加载 商业软件：300GB数据加载耗时115分钟（2.6GB/m不能一次加载，人工并行） 289.62 2h28m23s SORT 42TB 14个 运行效率(GB/m) 运行时间 作业类型 数据量 作业数 36 π-Frame平台技术特色 特色2：速度快 IO密集型作业：分选作业 p商业软件分选作业 p数据量：200GB p计算节点：单节点 p运行时间：138分钟 p效率：1.4GB/min pπ-Frame分选作业 p数据量：3.1TB p计算节点：472个 p运行时间：29分04秒 p效率：106GB/min pπ-Frame分选单作业测试 最大数据量：18TB 66节点：SORT作业 π-Frame：18TB，9小时 商业软件：1TB，55小时 37 π-Frame平台技术特色 特色2：速度快 66个节点：3.2TB数据 记录长度：8s 采用间隔：1ms 总道数：100940800 运行时间：13m12s 245GB/min 运行时间：20m54s 155GB/min 38 π-Frame平台技术特色 特色2：速度快 多种类型的作业运行性能 39 π-Frame平台技术特色 特色2：速度快 地震叠前偏移模块的性能优化：KPSTM 70.5小时 π-Frame平台技术特色 特色2：速度快 地震叠前偏移模块的资源消耗优化：KPSDM旅行时表缓存机制 1.42TB/min 2TB/min 40 41 π-Frame平台技术特色 特色3：智能化 ■架构智能 架构层容错性与鲁棒性，支持节点故障、磁盘故障、作业故障自动恢复 ■操作智能 上下文敏感的操作帮助；批处理作业参数自动校验，作业流程完整性、 合法性自动检查；资源预警与作业错误报警。 ■管理智能 资源调度、执行预测、节点动态增删、运行监控等智能化的系统监控及 资源调度管理模式，大大提高了平台的易用性、便捷性和资源利用率。 ■业务智能 道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。 42 π-Frame平台技术特色 特色3：智能化 ■架构智能：架构层容错性与鲁棒性 支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复 43 π-Frame平台技术特色 特色3：智能化 数据管理的安全性和容错性：支持节点动态增删 44 π-Frame平台技术特色 特色3：智能化 数据管理的安全性和容错性：节点故障监测与自动处理 发现和恢复时间2分钟以内， 与磁盘容量和网络带宽相关 1334 17:13:10 17:12:50 17:12:30 17:12:10 17:11:50 17:10:39- 17:32:53 5 1316 ? 16:11:42 16:11:02 16:10:22 16:09:46 16:08:53- 16:30:50 4 1306 ? ? 15:50:16 15:19:36 15:18:56 15:42: