数据中台：宜信敏捷数据中台建设实践 2020卢山巍.docx

视频

分享实录

分享实录

宜信技术学院

宜信技术学院

CreditEase

目录

目录

CONTENTS

1宜信数据中台顶层设计

2从中间件工具到平台

3典型案例分析

宜信技术学院

宜信技术学院

01

宜信数据中台顶层设计

宜信数据中台顶层设计:特点和需求

?业务条线众多:普惠金融板块、财富管理板块、资产管理板块、金融科技板块,近百条业务线

?技术选型众多:MYSQL、oracIe、HBase、KUDU、Cassandra、EIasticsearch、MongoDB、Hive、Spark、presto、ImpaIa、CIickhouse等

?数据需求多样:报表、可视化、服务、推送、迁移、同步、数据应用等

?数据需求多变:经常有周级产出数据需求和数据应用

?数据管理考虑:数据元信息可查,数据定义和流程标准化,数据管理可控等

?数据安全考虑:多级数据安全策略,数据链路可追溯,敏感数据不可泄露等

?数据权限考虑:表级、列级、行级数据权限,组织架构、角色、权限策略自动化

?数据成本考虑:集群成本、运维成本、人力成本、时间成本、风险成本等

宜信数据中台顶层设计:定位

宜信数据中台

从数据技术和计算能力复用,到数据资产和数据服务复用数据中台会以更大价值带宽,快准精让数据直接赋能业务

数据安全团队数据运维团队数据管理委员会业务领域数据团队业务领域

数据安全团队

数据运维团队

数据管理委员会

业务领域数据团队

业务领域数据团队

业务领域数据团队

业务领域数据团队

ADX

ADX数据中台平台(byADX团队)

自助化.实时化.统—化.服务化.管理化.可溯化

数据集群数据集群数据集群数据集群

数据集群

数据集群

数据集群

数据集群

快平台化,透明封装复用技术组件自助化,简单配置,月=天实时化,驱动业务增长,天=分ADX准省o

快

平台化,透明封装复用技术组件

自助化,简单配置,月=天

实时化,驱动业务增长,天=分

ADX

准

省

o时间成本,需求排期和重复开发

o人力成本,重复开发和缺少复用

o硬件成本,集群资源滥用造成浪费

o定制化需求造成重复开发

o内包实施团队需排期

oT+1延时满足不了精细化运营

o取数方式各异,清洗逻辑各异

o数据孤岛未打通整合

o需求驱动实施,无法沉淀数据资产

统—化,统—数据湖归集和出口

管理化,元数据、数据地图、血缘

资产化,模型管理让数据可信赖

自助化,节省时间就是节省成本

平台化,成熟技术组件高复用度

精细化,集群资源可估可查可量化

宜信数据中台顶层设计:模块架构维度

业务前台

普惠金融.财富管理.资产管理.金融科技

数据维度

数据应用层

数据应用层

BI应用.AI应用.数据产品

数据资产层

数仓体系.指标体系.标签体系.特征体系.主数据

数据湖层

统—化.实时化.逻辑化.标准化.安全化.服务化

宜信数据中台平台维度

Davinci

Davinci数据可视化

convoAI

convoAI会话式AI

DataHub

DataHub数据枢纽

AIHub

AIHub智能服务

Data

DataMgt数据管理

统—元数据管理、数据地图、数据血缘等

ADXMgt中台管理

ADXMgt中台管理

统—项目管理、资源管理、权限管理等

Dataworks

Dataworks数据工坊

自助查询、作业、可视化等(基于wormhoIe/Moonbox/TriangIe)

Datastar数据模型

Datastar数据模型

模型管理、指标自动化

DataTag

DataTag

数据标签

AIkit智能工具箱

AIkit

智能工具箱

DataHub

DataHub数据枢纽

自助数据申请、发布、脱敏、清洗、服务等

(基于DBus/wormhoIe/Moonbox/TriangIe)

数据集群存储资源.计算资源

数据集群

存储资源.计算资源.网络资源

内部数据.外部数据

宜信数据中台顶层设计:数据能力维度

BI业务智能

AI智能业务

computation数据处理

Governance数据治理

Management平台管理

operation集群管理

报表看板能力

报表看板能力

(davinci)

算法模型能力