移动云StarRocks：构建下一代云原生数仓.docx

移动云xStarRocks：构建下一代云原生数仓

陶捷

移动云数据库技术专家

01移动云分析型数据库发展历程

02海山数仓的架构和理念

03海山数仓的核心技术及演进趋势

04移动云的实践与未来展望

移动云分析型数据库

01发展历程

移动云数据库的发展历程

移动云数据库团队十年前正式诞生，以实现数据库核心技术自主可控为目标，目前已构建完整产品和市场体系，并实现大规模商用。

苏州研发中心

2014

云能力中心

2020

?启动云改，转型云计算服务商

2024

?云原生进阶，发布海山数据库2.0

?启动算力网络数据库探索和研究

?基于开源启动商业版产品打造

?集团内部推广和应用

?海山数据库1.0发布

资源规模研发团队15+31全国资源覆盖30万

资源规模

研发团队

15+31全国资源覆盖30万vcore

10+中移专业公司9大重点行业突破

规模200+人内核研发70+人

由云向算，云原生数据库四级进化

我们认为数据库的下一阶段:

2018

2014

2009

从云计算到算力网络

AuroraServerlessL3

AuroraServerless

Aurora

Logis

LogisDatabase

开源托管L1容器化部署

开源托管

无资源预占、全球分布、任务式服务

无资源预占、水平和垂直扩展

资源预占、计算存储分别扩展

资源预占、计算存储—体扩展

b云原生数据库的进化方向：更深层次的解耦、更灵活的感知调度

移动云数据库布局

移动云一站式云原生数据库服务

事务型数据库海山数据库MySQLL3

事务型数据库

海山数据库MySQL

L3

海山数据库PG

L2

海山数据库分布式

L1

RDSMySQL

L1

分析检索OLAP

海山数仓

L2

有哪些信誉好的足球投注网站数据库

L1

向量数据库

L1

数据库生态工具

数据库传输

数据库管理

数据库自治

NoSQL

NoSQL

缓存数据库

L1

文档数据库

L1

多模数据库

L1

算力

算力网络数据库

L4

数据库统一云平台底座

数据库统一云平台底座

?移动云基于K8s构建云原生数据库底座，全线产品达云原生L1级

?自研海山数据库系列，采用存算分离架构，并全面向

Serverless演进

?在中国移动算力网络战略下，大力探索算力网络数据库，

积极推进相关技术以及行业标准制定

?24年9月发布《中国移动算力网络数据库白皮书》

分析型数据库：从湖到仓

分析型数据库技术的发展的四个阶段2012年Hs、tr、upala、2年iIe1b8eDe2

分析型数据库技术的发展的四个阶段2012年Hs、tr、upala、2年iIe1b8eDe2l9ke0年一体

Oracle2000年2005年2017年ApacheDoris2021年DataBendFoxLake

TeradataVertica数仓

第四代：

第一代：单机分析型数据库上世纪90年代以Oracle、DB2为代表

第一代：

单机分析型数据库

上世纪90年代以

Oracle、DB2为代表的单机分析型数据库

第二代:

传统MPP数据库

2000年代以Teradata、

Greenplum、Vertica为代表的MPP架构数仓，具备支撑TB级别数据分析能力

云原生数仓

近五年来以SnowFlake为代表的云原生数仓，强调与云的基础设施融合，云原生、一体化、湖仓融合是主要的发展趋势。

新架构实时数仓

BC-Hadoop移动云产品演进BC-RDB-HybridBC

BC-Hadoop

移动云产品演进

BC-RDB-Hybrid

BC-HugeTable

Lakehouse

EMR

海山数仓

02海山数仓的架构和理念

海山数仓的设计理念

高性能

实时数仓引擎

物化视图、向量化引擎、行列混存、CBO优化器

云原生

极致性价比

存算分离、multi-warehouse

极简化

数据集成生态

Zero-ETL、湖仓融合

海山数仓的架构设计

MySQL

MySQLCl