互联网大厂大数据治理解决方案设计.pptx

互联网大厂大数据治理解决方案设计;

一.大数据现状;

没有数据

因为业务系统没有对数据加以保存，或者因为行政原因不能开放，即使上了大数据平台，那也只是有了“壳”而并不能发挥大数据的作用和价值。

缺乏数据治理、不准确、周期长

缺乏数据治理，对数据中存在的数据缺失、数据散乱、数据不一致，元数据频繁变更，元数据类型多样的问题并没有真正的处理和解决，即使有了大数据平台其分析结果也不准确。导致错误的决策，大数据分析失去可信度。;

2018

DataGovernance;

一.大数据现状

二.大数据治理方案

三.大数据案例解析;

二.大数据治理方案

2.1大数据整体架构

2.2大数据采集交换平台

2.3大数据处理平台

2.4大数据资产管理平台

2.5大数据交换平台

2.6大数据接口运维平台

2.7大数据分析挖掘平台

2.8大数据智能平台

2.9大数据决策平台;

·数据湖是经过治理和整合的数据最佳存放环节

·数据湖架构，实现数据治理与大数据应用开发的脱藕，可以支持应用的百花齐放

·数据湖确保数据是用户的数据，不是应用开发商的数据

·多个不同特色的应用开发，可以分别从数据湖获得各自需要的数据，大大加快应用开发的速度;

二.大数据治理方案

2.1大数据整体架构

2.2大数据采集集成平台

2.3大数据处理平台

2.4大数据资产管理平台

2.5大数据交换平台

2.6大数据接口运维平台

2.7大数据分析挖掘平台

2.8大数据智能平台

2.9大数据决策平台;

人大金仓Kingbase

南大通用GbaseBa

达梦Dameng

浪潮KDB

神州通用

DBone

HPVertica

EMCgreenplum

gbase8M

Saphana

DB2

PostgreSQL

MySql

SQLServer

Kafka

tibco

TXTCSV

XMLsql;

大数据/云

准实时

数据仓库

目标端用户

目标数据库或者云直接装载;

功能;

QUEUE

ArchivedLog

1.源端数据库的实时增量跟踪技术2.目标端实时复制转换装载技术

3.中间过程中的接口文件技术

4.中间过程中的中间库技术

5.中间过程中的准实时复杂转换(ETL)技术;

二.大数据治理方案

2.1大数据整体架构

2.2大数据采集集成平台

2.3大数据处理平台

2.4大数据资产管理平台

2.5大数据交换平台

2.6大数据接口运维平台

2.7大数据分析挖掘平台

2.8大数据智能平台

2.9大数据决策平台;

大数据处理平台定位;

大数据处理平台：目标效果;

企业

业务系统

呼叫中心

CRM系统

数据

HR系统数据

数据湖治理平台;

全量、增量、实时

全量、增量、实时

全量、增量

网络爬虫、全量、增量;

功能截图——数据清洗、验证、转换、分析;;;;

服务健康情况;

aoe

sex

aodress口

jinghus_demojinhua_demo02

address山东面日倾市画

age

妍(A)6()中s*TgCe

口源允肝色建n原

哲光许

●访可动所允月车和

诗响概酸动现面行的理序

●防可务破的设九肝坊可服务硬的议

马水平议允件5务议

务酸的电子反允许的建85务用子解件

游全尾渡许达习年引列

●湖竹九许佑同动屋，防话史景，作业和三9,建饮究等验作.

可蓄理作，如更来，显启博山海失外性业，自;

二.大数据治理方案

2.1大数据整体架构

2.2大数据采集集成平台

2.3大数据处理平台

2.4大数据资产管理平台

2.5大数据交换平台

2.6大数据接口运维平台

2.7大数据分析挖掘平台

2.8大数据智能平台

2.9大数据决策平台;

数据生命周期实时性能展示

数据回滚图形化诊断

表结构对比实时会话管理

批量导入手工录入

技术元数据管理元数据

SQLServerPostgreSQL…;

智慧风控

(风控)

合规检查

反洗钱

反盗刷

反套利

账户保护

风控集市;

B