集团大数据平台系统性能指标和测试结果说明.pdfVIP

集团大数据平台系统性能指标和测试结果

说明

集团大数据平台系统性能指标和测试结果说明

本文介绍了一项针对运营商手机上网记录查询系统的性能

测试。该系统每日上网记录数近10亿条，每月数据量近9TB，

数据量巨大，已经超越了传统关系型数据库可管理的容量上限。

因此，本测试旨在验证星环科技的商用Hadoop平台是否可以

有效解决数据采集、加载、存储、查询、分析等问题。

测试内容包括存储节点数和存储量验证、并发加载数据的

效率验证以及三个应用场景的性能验证。测试环境配置包括

300+台服务器、双电口万兆以太网卡、NameNode节点3台、

DataNode节点、Zookeeper节点、集群监控节点、入库服务节

点、Web查询应用服务器等。

测试结果显示，现有HDFS集群已被占用10.5PB，实际

HBase表数据也已经有3.5PB左右。集群导入性能没有问题，

每秒平均达到1500万记录/秒，峰值时达到5000万/秒。支持

并发查询数目远高于请求/秒，上网记录查询速度不高于1秒。

总的来说，本测试证明了星环科技商用Hadoop平台的成

熟稳定性，可以有效解决大规模数据管理的问题。

TPC-DS是一个多维数据模式的测试集，包含星型和雪花

型等多种模式。它包含7张事实表和17张纬度表，平均每张

表含有18列。该测试集包含99个SQL查询，覆盖SQL99和

2003的核心部分以及OLAP。这个测试集包含对大数据集的

统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的

数据和值是有倾斜的，与真实数据一致。可以说TPC-DS是一

个与真实场景非常接近且难度较大的测试集。

TPC-DS的这个特点与大数据的分析挖掘应用非常类似。

Hadoop等大数据分析技术也是对海量数据进行大规模的数据

分析和深度挖掘，也包含交互式联机查询和统计报表类应用，

同时大数据的数据质量也较低，数据分布是真实而不均匀的。

因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQLon

Hadoop技术的最佳测试集。该测试集有以下几个主要特点：1）

共有99个测试案例，遵循SQL99和SQL2003的语法标准，

SQL案例比较复杂；2）分析的数据量大，并且测试案例是在

回答真实的商业问题；3）测试案例中包含各种业务模型，如

分析报告型、迭代式的联机分析型、数据挖掘型等；4）几乎

所有的测试案例都有很高的IO负载和CPU计算需求。具体的

测试案例详见本建议书附录部分《TPC-DS测试集99query说

明》。

本测试旨在通过选取多个量收系统典型实际应用场景测试，

验证星环TDH产品能够实现量收系统各类功能应用，能够较

好的满足量收系统迁移要求。测试内容包括量收系统功能各类

型的技术和业务场景，包含六个方向应用，具体分别是：1）

大数据量数据加载、计算及汇总，此方向取“范围段加载ETL”；

2）高并行计算、复杂计算、大表关联，此方向取“收入宽表计

算ETL”；3）大数据量、高并发查询，此方向取“量收日统计

表查询”；4）Cognos复杂逻辑应用，此方向取“淡旺季报表统

计”；5）大表的update和delete类SQL计算，此方向取“营业

客户数据加载计算ETL”；6）Oracle存储过程运算，此方向取

“报刊在Oracle中存储过程”。

测试环境的硬件配置包括8台CPU，详见表9-5.

生产表数据规模：

以下是生产表的数据规模，包括表名、记录数和备注。

表名记录数备注

pims_pdata.tb_peo_postcol

pims_pdata.tb_peo_postder7843

pims_pdata.tb_peo_postder

pims_pdata.tb_prt_custlevel483

pims_pdata.tb_peo_winpos

pims_pdata.tb_sum_peopos320

pims_pdata.tb_sum_peonm07

m

46

pims_pdata.tb_peo_prtcin

pims_pdata.tb_cde_cpbusnt15

pims_pdata.tb_fct_kadd

pims_pdata.tb_fct_operd