数据中台基础组件优化分析.pdfVIP

数据中台基础组件优化分析

QuickBI“数据门户”在企业数据中台建设中的重要性企业在

数据中台初步建设完成以后，怎样让客户直观感受到数据中台的价

值？企业决策者、各部门管理人员、业务运营人员如何通过统一的

窗口，快速看到数据中台提供的数据，并利用这些数据全方位的支

持企业发展？基于QuickBI构建的企业数据门户，有效的解决了上

述问题。QuickBI“数据门户”是数据中台提供给业务人员使用的

门户和窗口，以场景化分析的方式，为企业各类人员和角色，提供

统一的可视化服务。作为真正触达用户的可视化工具，Quick

BI“数据门户”在企业数据中台建设中的重要性尤为突出。

为什么要对QuickBI进行优化？企业数据中台建设完成后，数

据中台作为企业统一数据的“供给方”，越来越多的部门和业务人

员会成为“需求方”，希望通过数据中台的数据支持业务。随着

“需求方”越来越多，并发要求越来越高，作为统一入口的Quick

BI数据门户的压力随之越来越大。因此，随着数据中台在企业内推

广和使用的逐步深入，需要对QuickBI进行全面优化，以满足不断

增长的业务需要。

本文旨在说明的问题本篇文章基于实际客户案例中QuickBI性

能优化的实践探索，总结提出数据中台建设中的测试方法和性能优

化解决方案，抛砖引玉，供其他类似项目参考。

典型的数据中台技术架构

基于阿里云数据中台整体解决方案，对数据中台技术实现进行

选型及设计，典型的数据中台技术架构如下图所示，整个技术架构

选型包含五个层次：业务数据源存储技术、数据源接入技术、数据

中台数据存储与计算技术、数据服务及数据应用技术。

数据存储计算，数据中台中离线数据存储和计算采用

MaxCompute离线计算引擎；实时计算部分采用阿里云

StreamCompute流式计算技术实现；数据研发与管理采用

Dataphin智能数据构建与管理大数据研发平台。

数据服务层，主要分API接口和数据库服务两种方式，一般普

通查询使用RDS，多维分析使用ADB，有哪些信誉好的足球投注网站服务使用ElasticSearch，

在线接口使用OneService服务。

数据应用层，使用阿里云智能报表工具QuickBI实现各种定制

数据报表分析需求；以及基于阿里云产品技术体系实现客户个性化

数据应用需求。其中基于QuickBI产品的数据中台门户如图中橙色

部分所示。

QuickBI压测方法

1、压测目标QuickBI数据中台门户压测目标主要围绕着两类

发布变更和用户体验反馈，提前做好：性能卡点、性能调优工作，

满足日常客户报表的极致体验、以及性能特殊诉求。

两个卡点：1）压测，保障上线内容无性能问题以及隐患2）新

的报表上线时，需要对新上线报表进行简单压测，避免单一报表导

致整个系统性能出现瓶颈。

一个检查点：当客户直观使用感受数据中台门户报表显示过慢

时，对系统整体压测，检查性能瓶颈点进行优化。从而保障数据中

台门户满足客户日常报表可视化性能需求。

2、压测策略

1）压测环境QuickBI数据中台门户通常在客户现场只有正式

环境，QuickBI门户页面压测接口全为查询类请求，压测执行不会

对线上数据造成污染。当然为了避免影响线上用户，会在用户低峰

期如凌晨节点执行压测。

2）压测实施

（1）获取客户需求，如客户需求的可能是要支持100个并发，

返回时间不超过3s、日常峰值用户多少PV等。（2）根据客户需求

结合线上PV访问量预估，计算出经验qps和极限qps。（3）前期

准备，需要跟客户沟通压测时间点以及压测方案，同时压测期间协

调产品方跟进，观察产品在压测时是否触发异常。（4）压测工具准

备（5）压测数据准备QuickBI门户涉及多个页面，一个页面包括多

个接口请求，如果通过手工抓接口录API入参的方式工作量极大，

而且接口入参数据时效不高、容易出错。因此需要一种实时页面录

制请求的方式实现压测数据快速准备。

3、压测方式通常数据中台QuickBI门户的性能瓶颈是在提供

数据服务的数据库，因此在进行压测时，我们主要通过区分不同数

据源类型的报表页面