2024年工商银行大数据技术及应用白皮书-工商银行.docx

工商银行大数据技术及应用

白皮书

中国?商银?软件开发中?

2024年10?

版权说明

版权说明

本??书版权属于中国?商银?软件开发中?，并受法律保护。转载、摘编或利?其它?式使?本??书?字或者观点的，应注明“来源:中国?商银?软件开发中?”。违反上述声明者，我们将追究其相关法律责任。

?录

?录

第?章概述 2

(?)?数据技术发展历程 2

(?)?数据产业发展现状 3

(三)?数据产业演进趋势 9

第?章?商银??数据发展现状 13

(?)?数据平台产品视图 13

(?)?数据平台总体架构 14

(三)基于?数据平台打造企业级数据中台 25

第三章?商银??数据应?案例 27

(?)基于流批?体的个?储蓄存款准实时计算?案 27

(?)基于实时数仓的报送解决?案 28

(三)内外部数据融合的?控业务模式 29

(四)数据驱动的码上赢新型营销模式 29

(五)?向营销经理/运营经理的地理空间信息助? 30

第四章总结与展望 32

1

第?章概述

第?章概述

(?)?数据技术发展历程

随着?数据技术的不断迭代优化，数据处理速度、存储容量及分析精度均实现了显著提升，这些进展极?地提升了计算能?，引发了对算?需求的显著增?。同时，?数据与??智能、机器学习等前沿技术的深度融合，正逐步解锁数据的深层价值，为各?各业提供了前所未有的洞察?和决策?持。在这?背景下，?融?业作为数据密集型?业，其?数据业务迎来了前所未有的创新和发展机遇，不仅促进了?险管理、客?洞察、产品创新等??的精准化与智能化，还加速了?融业态与服务模式的深刻变?，预?着?数据技术在?融领域的未来趋势将更加注重实时性、智能化与个性化服务的提升。

1、萌芽期：传统数仓（2002-2012）

企业需要对数据进?全局性经营分析，由此诞?了?体机架构下的传统数仓。

2、发展期：离线?数据架构（2012-2016）

随着互联?的急速发展，数据规模爆发式增?，?体机架构??以可接受的成本提供算?，?数据进?开源时代。

2

第?章概述

3、爆发期：Lambda/Kappa架构（2016-2021）

?数据逐渐成为业务的重要?撑，业务逐渐产??时效的数据感知、分析决策、?动和反馈的需求，?数据向实时化演进。

4、转型期（2021-2025）：云原?实时架构

业务复杂度进?步增加，数据源越发多样化，更?便的?数成为业务的主要诉求，?数据开始拥抱云原?、AI等其他领域。

5、变现期（2025+）:?数智能

数据作为核??产要素，与企业竞争?直接挂钩，如何将数据价值快速变现成为关注重点。

(?)?数据产业发展现状

?进?“?四五”时期以来，?数据产业已迈??个新的发展阶段，产业内部逐渐细化，形成数据存储与计算、数据管理、数据应?、数据安全四?核?领域。数据源通过数据存储与计算实现压缩存储和初步加?，通过数据管理提升质量，通过数据应?直接释放价值，并由数据安全技术进?全过程的安全保障。四?核?领域当前呈现不同发展现状，在数据要素?战略的新形势下，发展?向均进?步明确。

3

第?章概述

?数据产业四?核?领域

核?领域

发展现状

发展?向

数据存储与计算

实现了海量数据的?效存储、计算

降低运维成本，提升处理效率

数据管理

头部?业实现关键数据的管理

各?业均实现全域数据管理

数据应?

?撑核?业务分析和顶层决策

与全域业务深度融合

数据安全

推进外规内化与?险治理

将安全治理能?嵌?业务

?数据技术在数据存储与计算、数据管理、数据应?、数据安全四?产业领域有不同的发展，存算分离架构、融合?体衍进、智能增强分析、数据研发运营?体、内?安全技术5项成为关注和发展焦点，国内外市场均涌现不少相关产品和?案。

1．数据存储与计算领域

【存算分离架构】存算?体架构下，?数据数据处理产品的存储节点、

计算节点功能耦合或者部署耦合，存在部署规模上限低、计算弹性扩缩困难、存算故障隔离弱等问题。存算分离的弹性计算、?规模上限、存算故障隔离等架构优势，能够提供更好的算?保障和运维灵活性，有助于应对?规模数据分析的挑战，从?提供更好的数据驱动决策的?持。

近年来，业界存算分离??的主流产品和样板技术也?益涌现。主流产品??有ApacheDoris、阿?巴巴Hologres、腾讯TCHouse、偶数科技HashData

4

第?章概述

等。?融?业中，建?联合HashDat