大数据平台建设方案详细.pdf

二、大数据平台建设

（一）大数据平台框架概述

大数据平台建设充分整合信息化资源，打破行业、部门之间

的信息壁垒，运用大数据技术进行采集、加工、建模、分析，将数据价

值融入到金融之中，从而提升创新能力和产品服务能力。主要包

括以下三部分：

1．大数据分析基础平台

按照功能划分数据区，设计数据模型，在统一流程调度下，整合各

类数据，同现有的企业级数据仓库和历史数据存系统一起，形

成基础数据体系，提供支撑经营管理的各类数据应用，支撑上

层应用。

2．大数据应用系统

基于基础数据平台，持续建设各类数据应用系统，通过数

据挖掘、计量分析和机器学习等手段，对丰富的大数据资源进行

开发使用，并将数据决策化过程结合到风控、营销、营运等经营管

理活动，充分发挥大数据价值。

3．大数据管控

建立数据标准，提升数据质量，加强元数据管理能力，为

平台建设及安全提供保障

（二）大数据平台建设原则

大数据平台是大数据运用的基础实施，其设计、建设和

系统实现过程中，应遵循如下指导原则：

经济性：基于现有场景分析，对数据量进行合理评估，

确定大数据平台规模，后续根据实际情况再逐步优化扩容。

可扩展性：架构设计与功能划分块化，考虑各接口的

开放性、可扩展性，便于系统的快速扩展与维护，便于第三

方系统的快速接入。

可靠性：系统采用的系统结构、技术措施、开发手段都

应建立在已经相当成熟的应用基础上，在技术服务和维护响

应上同用户积极配合，确保系统的可靠；对数据指标要保证

完整性，准确性。

安全性：针对系统级、应用级、网络级，均提供合理的

安全手段和措施，为系统提供全方位的安全实施方案，确保

企业内部信息的安全。大数据技术必须自主可控。

先进性：涵盖结构化，半结构化和非结构化数据存和

分析的特点。借鉴互联网大数据存及分析的实践，使平台

具有良好的先进性和弹性。支撑当前及未来数据应用需求，

引入对应大数据相关技术。

平台性：归纳整理大数据需求，形成统一的大数据存

服务和大数据分析服务。利用多租户,实现计算负荷和数据

访问负荷隔离。多集群统一管理。

分层解耦：大数据平台提供开放的、标准的接口，实现

与各应用产品的无缝对接

（三）基础数据来源

1．银行内部大数据资源

客户自身信息以及其金融交易行为，依照目前积累沉淀

的数量资源情况，将数据主要分为三大类：

第一类：客户基础数据

客户信息数据，即客户基础数据，主要是指描述客户自

身特点的数据。

个人客户信息数据包括：个人姓名、性别、年龄、身份

信息、联系方式、职业、生活城市、工作地点、家庭地址、

所属行业、具体职业、婚姻状况、教育情况、工作经历、工

作技能、账户信息、产品信息、个人爱好等等。

企业客户信息数据包括：企业名称、关联企业、所属行

业、销售金额、注册资本、账户信息、企业规模、企业地点、

分公司情况、客户和供应商、信用评价、主营业务、法人信

息等等。

将这些割裂的数据整合到大数据平台，形成全局数据，

再按照自身需要进行归类和打标签，由于都是结构化数据因

此将有利于数据分析。可以将这些信息集中在大数据管理平

台，对客户进行分类，依据其他的交易数据，进行产品开发

和决策支持。

第二类：支付信息

交易信息数据，可以称之为支付信息，主要是指客户通

过渠道发生的交易以及现金流信息。

个人客户交易信息：包括工资收入、个人消费、公共事

业缴费、信贷还款、转账交易、委托扣款、购买理财产品、

购买保险产品、信用卡还款等。

企业客户交易信息：包括供应链应收款项、供应链应付

款项、员工工资、企业运营支出、同分公司之间交易、同总

公司之间交易、税金支出、理财产品买卖、金融衍生产品购

买、公共费用支出、其他转账等。

第三类：资产信息

资产信息主要是指客户在金融机构端资产和负债信息，

同时也包含金融机构自身资