基于大数据技术数据仓库的应用建设_光环大数据培训.pdf

光环大数据--大数据培训知名品牌 基于大数据技术的数据仓库应用建设_光环大数据培训 随着利率市场化进程加快、互联网金融业态的发展，传统银行与实体经济的 业务横向联系与深度融合进展迅速，业务数据的内容不断丰富，数据规模也不断 增长。伴随着商业银行业务的快速发展，传统数据仓库技术架构面临越来越大的 挑战，其表现如下： （1）大部分传统数据仓库对分布式并行计算模式的支持不够，难以实现处 理能力的水平弹性扩展，依赖于服务器硬件的升级实现处理能力扩容，不仅成本 非常高昂，而且受到服务器硬件升级周期较长的限制。 （2）商业银行因业务复杂性和多样性的原因，现存的数据应用系统种类较 多。在单个数据库系统处理能力有限的情况下，普遍存在应用各自独立建设，缺 乏统筹规划，系统间数据处理职责划分不合理、口径不一致，存在大量的重复加 工和数据冗余的问题。 （3）传统数据仓库软件主要面向数据分析型应用，无法兼顾实时营销与实 时风险管理等高并发、低延迟应用场景需要，较难处理非结构化数据，难以快速 实现业务团队的数据探索、数据挖掘与业务建模需求。 以Hadoop/Spark 为代表的大数据技术发展迅猛，为解决传统架构的瓶颈带 来了新思维。以大数据技术为基础的数据管理平台与传统数据库软件相比，具备 如下优势： （1）更低的成本投入 能够基于X86 服务器弹性水平扩展，通过节点冗余增加容错能力，多核计算 光环大数据 光环大数据--大数据培训知名品牌 资源能充分利用，相比小型机方案成本低廉；利用本地磁盘做存储，节省昂贵的 集中存储设备投入；软件产品和服务的价格更低。 （2）更强的整体处理能力 消除集中存储的带宽瓶颈，可采用SSD 介质加速随机读写速度,获得极高的 IO 处理能力；针对并行计算需求设计，采用异步无锁的高并发服务框架，提供 可线性增长的数据并行处理能力，可提供高并发低延迟数据处理服务。 （3）更优的资源管理和调度机制 可提供弹性的租户资源管理体系，防止不同应用之间的资源过度竞争，在不 同时间段为各应用按需调配资源，利于在一个统一的数据平台上构建多个应用系 统。 处于业务发展的新阶段恒丰银行，更需要一个低成本可线性扩展的数据处理 平台，解决企业多个数据应用形成数据孤岛，数据资源难以共享、数据标准不一、 存在大量冗余数据的问题。恒丰银行在进行充分的可行性分析后，基于大数据平 台重构优化了数据仓库及关联应用。同时基于统一的企业公共数据模型上构建发 展各应用集市和分析集市，减少数据的重复加工和各数据应用的开发成本。 最后，构建了包容实时数据应用和数据分析型应用的统一软硬件技术架构， 同时满足联机数据查询和海量数据分析需求，提高数据应用的开发效率和增强了 服务器资源有效利用率，减少了应用总体开发和部署成本。 周期/节奏 2015 年7 月，恒丰银行正式启动大数据平台建设项目。2015 年底完成需求 光环大数据 光环大数据--大数据培训知名品牌 梳理、架构与应用规划。 2016 年 1 月，在开源软件、国产大数据平台的基础上，恒丰银行自主设计 开发建设企业级大数据应用平台，利用全新的大数据平台技术全面重构了企业数 据仓库应用。 2016 年 5 月在企业数据仓库公共数据集市成果基础上，结合大数据技术服 务能力，升级改造原有的渠道、授信管理、审计、客户管理等系统，在客户服务、 风险管理、内部管控、营销管理等多个业务领域开发基于大数据平台的创新。 2017 年延续大数据思维，将打造更加智能化的技术平台，整合深度学习、 知识图谱、情感计算等前沿人工智能技术，自主研发智能决策引擎产品，与渠道 和产品系统充分整合，为恒丰银行业务发展植入更加智慧的数据大脑。 客户名称/所属分类 恒丰银行/大数据技术服务 任务/ 目标 商业银行业务快速发展对数据应用的时效性和