大数据时代地震勘探软件平台.pptVIP

  1. 1、本文档共71页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
32 π-Frame平台技术特色 特色1:规模大 海量地震数据管理支撑:100+PB 大规模并行计算资源支撑:1000+节点(数万~数十万核) 大规模用户、项目、作业支撑:4000+ 单作业处理数据规模大:18TB数据的分选作业 大规模功能扩充支撑 33 π-Frame平台技术特色 特色2:速度快 ■基于分布式文件系统的并行I/O带来的高吞吐能力 68个节点、每个节点4块硬盘的测试系统配置,测试获得了 35GB/s即约2TB/m的I/O性能,约3~5GB/s即200+GB/m的地震 数据加载性能、常规地震批处理作业吞吐性能。 ■全并行化批处理机制带来的大规模并行计算线性扩展能力 融合并行数据I/O和并行计算、数据划分与数据备份、计算任务 容错等特性 支持作业并行、节点并行、Map级数据并行、多线程并行、GPU 异构并行等多级并行模式 34 π-Frame平台技术特色 特色2:速度快 高性能的海量地震数据存取访问 ~1500GB/min 200.93 GB/m 8.1TB 41m17s 并发导入 86个map 472节点 S1JX3.1TB YBD 2TB JSB 3TB (86个文件) 101.7 GB/m 3.1TB 31m12s 一次导入 40个map 472节点 S1JX3.1TB (40个文件) 65.67 GB/m 3.1TB 48m20s 一次导入 40个map 300节点 S1JX3.1TB (40个文件) 运行速率 输入大小 运行时间 应用场景 使用情况 运行环境 数据 35 π-Frame平台技术特色 特色2:速度快 高性能的海量地震数据存取访问:快速数据加载 商业软件:300GB数据加载耗时115分钟(2.6GB/m不能一次加载,人工并行) 289.62 2h28m23s SORT 42TB 14个 运行效率(GB/m) 运行时间 作业类型 数据量 作业数 36 π-Frame平台技术特色 特色2:速度快 IO密集型作业:分选作业 p商业软件分选作业 p数据量:200GB p计算节点:单节点 p运行时间:138分钟 p效率:1.4GB/min pπ-Frame分选作业 p数据量:3.1TB p计算节点:472个 p运行时间:29分04秒 p效率:106GB/min pπ-Frame分选单作业测试 最大数据量:18TB 66节点:SORT作业 π-Frame:18TB,9小时 商业软件:1TB,55小时 37 π-Frame平台技术特色 特色2:速度快 66个节点:3.2TB数据 记录长度:8s 采用间隔:1ms 总道数:100940800 运行时间:13m12s 245GB/min 运行时间:20m54s 155GB/min 38 π-Frame平台技术特色 特色2:速度快 多种类型的作业运行性能 39 π-Frame平台技术特色 特色2:速度快 地震叠前偏移模块的性能优化:KPSTM 70.5小时 π-Frame平台技术特色 特色2:速度快 地震叠前偏移模块的资源消耗优化:KPSDM旅行时表缓存机制 1.42TB/min 2TB/min 40 41 π-Frame平台技术特色 特色3:智能化 ■架构智能 架构层容错性与鲁棒性,支持节点故障、磁盘故障、作业故障自动恢复 ■操作智能 上下文敏感的操作帮助;批处理作业参数自动校验,作业流程完整性、 合法性自动检查;资源预警与作业错误报警。 ■管理智能 资源调度、执行预测、节点动态增删、运行监控等智能化的系统监控及 资源调度管理模式,大大提高了平台的易用性、便捷性和资源利用率。 ■业务智能 道编辑、初至拾取与分析、速度分析等自动化数据处理与分析技术。 42 π-Frame平台技术特色 特色3:智能化 ■架构智能:架构层容错性与鲁棒性 支持节点故障、磁盘故障、作业任务故障的自动发现、迁移与恢复 43 π-Frame平台技术特色 特色3:智能化 数据管理的安全性和容错性:支持节点动态增删 44 π-Frame平台技术特色 特色3:智能化 数据管理的安全性和容错性:节点故障监测与自动处理 发现和恢复时间2分钟以内, 与磁盘容量和网络带宽相关 1334 17:13:10 17:12:50 17:12:30 17:12:10 17:11:50 17:10:39- 17:32:53 5 1316 ? 16:11:42 16:11:02 16:10:22 16:09:46 16:08:53- 16:30:50 4 1306 ? ? 15:50:16 15:19:36 15:18:56 15:42:

文档评论(0)

nuvem + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档