浙江移动基于Hadoop的详单系统建设方案v1.97.pptxVIP

浙江移动基于Hadoop的帐详单查询系统解决方案;议题;浙江移动详单查询现存问题分析;查询主机二(HP SD);实时详单存储;议题;项目建设目标;议题;现有系统架构;新系统总体架构;;新系统数据模型;新系统介绍——模块介绍;数据预处理——功能架构;数据预处理——流程定义;数据预处理——字段映射;;详单查询服务——内存数据库的使用;OCNoSql数据库——功能架构;OCNoSql数据库——话单存储;新详单查询系统——功能列表;;;架构优化二：解耦应用，避免故障影响扩大;架构优化三：分布式架构让系统无需集中部署;架构优化四：增强系统高可用保障能力及高可扩展性;网厅、自助终端、……;架构优化六：加强详单处理数据稽核;架构优化七（一）：解决文件存储问题;架构优化七（二）：分布式存储提高文件系统高可用性;议题;数据加载和查询性能测试报告——硬件环境;数据加载和查询性能测试报告——测试目标;数据加载性能;数据加载和查询性能测试报告——日表存储查询测试（无数据加载）;数据加载和查询性能测试报告——日表存储加载与查询并行测试;数据加载和查询性能测试报告——测试结论;议题;现有详单查询系统部署现状分析;基于Hadoop改造后的详单查询改变原有架构，在进行迁移时，采用的是两对多的迁移方式 硬件设备：以应用性能指标为标准，选取同等甚至超出原有系统处理能力的x86服务器集群替代原小型机设备，并利用原小机设备作为详单查询服务前台支撑 应用软件：选取基于Hadoop开发的可扩展性高的x86集群应用替代原有的Unix应用;基于X86架构的详单查询整体部署方案;主控节点实现HA高可用性——保证系统整体的高可用性;根据浙江移动详单查询现状，存储能力评估算法如下：;根据浙江移动详单查询现状，计算能力评估算法如下：;基于X86架构的详单查询方案处理能力评估（续）;;项目人员安排与资源投入;项目进度;议题;上海详单查询系统遇到的核心问题——效率瓶颈 ;上海基于Hadoop的详单查询方案介绍;上海基于Hadoop的详单查询方案介绍（续）;总结