企业大数据案例分析(公司大数据、集团大数据).pdf

企业大数据案例分析 1 目录 1 中国联通大数据平台 4 1.1 项目概述 4 1.2 项目实施情况 5 1.3 项目成果 10 1.4 项目意义 11 2 恒丰银行大数据平台 12 2.1 项目概述 12 2.2 项目实施情况 15 2.3 项目成果 21 2.4 项目意义 21 3 华通 CDN 运营商海量日志采集分析系统 24 3.1 项目概述 24 3.2 项目实施情况 24 3.3 项目成果 28 3.4 项目意义 28 4 案例总结 30 2 3 1 中国联通大数据平台 联通 XX 公司公司按照工信部的的要求（见《工业和信息化部、国务院国有资产监 督管理委员会关于开展基础电信企业网络与信息安全责任考核有关工作的指导意见》 和 《工业和信息化部办公厅关于印发 2013 年省级基础电信企业网络与信息安全工作考 核要点与评分标准 的通知》），于 2013 年启动 IDC/ISP 日志留存系统的建设， 其中 XX 公司侧的集中留存系统软件由联通研究院负责开发。 为了满足海量数据条件下的处理效 率的要求， XX 公司侧集中留存系统软件除研究院自主开发外，基于 Hadoop 的数据存 储部分计划进行外包，通过软件技术服务，来进行系统优化和维护支撑。 1.1 项目概述 目前，联通 XX 公司公司全国 IDC 出口的访问日志预计两个月产生的数据量约 20 PB 至 30PB ，每秒写入大概 6 千万至 7 千万条数据，在如此巨大的数据量下，原有 Ter adata 和 Oracle 已经不能满足快速读写的性能要求了。同时为了实现快速检索以及分 析处理的性能要求，需要引入分布式大数据平台，利用分布式文件存储系统，提高数据 的存储入库能力，利用 Hadoop/HBase 架构克服磁盘 I/O 瓶颈导致的数据读写延迟； 基于联通 IDC 出口流量详单数据进行快速存储和检索以及分析处理， 同样要求数据处理 平台具备快速读写的高性能。 中国联通公司全国 IDC 日至留存项目对分布式集群的要求非常高： (1) 日志数据量非常大，存储的总日志数据量将达到 20PB-30PB 。 (2) 要求集群的数据吞吐量非常高，每秒的日志写入量将达到 6 千万至七千万条， 4