案例_v3.pdf

Intel Hadoop 发行版案例 案例分享一 银联大数据数据票据详单平台 项目简介 ： 银联大数据平台是银联处理票据详单，电子保单 ，银联交易详单平台。 票据数据主要包括消费者在POS机上的消费签购单详和法人单位开 具给个人的付费凭证。 票据数据每个月有5000万到6000万条数据。 该数据的使用者除了银联的内部用户外，也开放给参与交易的商户。 银联大数据平台也包括电子保险单存储。 每份保单文件为约 3MB 大小， 一个城市每年约产出1500万份保单。 银联大数据平台的第三项功能是银联交易详单， 包括银联网存款， 取款，转账详单。每月产生40TB到47TB数据。电子保险单存储和 银联交易详单平台的用户主要是银联的内部用户。 面临的挑战 ：采用IDH系统方案之前， 银联的方案有困难 1 ）在数据集达到半年数据规模时， 采用XML方案的系统票据查询速度过 慢导致无法实际使用该功能； 2 ）电子保单存储和查询中，当存储 的数据量达到一年的数据量时， 查 询速度过慢导致无法实际使用该功能。 3 ）曾在交易详单项目上尝试采用开 源的HBase, 经常发生故障，而且没 有管理监控报警功能， 无法投入商 业应用。 IDH方案的实现 ：新的银联大数据平台项目采用英特尔Hadoop 发行版平台，实现了以下功能 1 ）将基于XML的票据查询方案转换为基于HBase的方案，外部 导入程序将XML文件转换为HBase数据结构，实现了在海量票据 数据中一秒之内的查询返回； 2) 电子保单数据和保单文件从关系数据库转换为HBase ，使用 IDH大对象存储的优化，性能比开源Hadoop成倍数提升； 3) 将开源HBase的交易详单应用部署到英特尔Hadoop发行版， 提供更高的性能、稳定性和管理性。 硬件配置 ：集群规模45个节点， name node采用了ＨＡ， 每个 节点配１0块２ＴＢＳＡＴＡ 数据硬盘组成ＪＢＯＤ， 系统盘采 用２块５００ＧＢ ＳＡＳ硬盘组成ＲＡＩＤ １， 6 ４ＧＢ内存， 双路６核ＣＰＵ，千兆网络。 效果： 在设计数据量下，票据查询和电子保单查询的速度都在秒级， 达到设计标准。 案例分享二 广东移动省公司请账单系统 新详单系统建设的必要性 原清帐单系统建立在小型机及其高端存储设备上。为了实现海量数据存储及快速导入， 原系统把明细清单压缩存放到文件系统中，数据库只保留索引信息以满足查询性能的要求。 随着时间推移，数据量增长，需找新的解决方案越来越迫切： • 通过文件存储定长记录的方式，程序难以修改。原有清单中心基于266字节的定长格 式，但新融合计费项目上线，清单格式增长至1024字节。 • 文件系统缺乏常规查询语言，如SQL ，HIVE等，旧已经不能满足越多越多统计需求。 • 系统需要不断增加新字段，文件系统无法扩展。 • 文件系统不支持数据库常规的更新功能，详单冲销、修正、补信息等功能难以实现。 • 随着新详单格式改变，存储空间及性能相应需要增加5倍。扩容费用高昂。 新详单系统功能定位及建设要求 新详单系统是在已有系统基础上建设，因此未新系统必须覆盖原详单所有功能。同 时，系统应该能对旧有问题进行针对升级改造，以适应业务发展得需要。  新系统易用性要求  新系统的数据功能定位  支持SQL或者类SQL访问方式  接收BOSS省中心和BOSS生产节  支持Java,C/C++等高级语言 点的清单和账单数据  支持实时增减字段，更新数据  统一管理全省的清账单数据（5+1  支持通用X86及Linux 个月清单、6个月账单数据）  并为全省用户提供统一的查询、统  新系统接口功能定位 客户 计报表服务