POWER大数据解决方案_房树新.ppt

Citi银行Symphony网格计算平台 在爱 Citi 网格运行分析 Citi – 计算和数据结合型网格系统,主要为风险分析 在一个共享的网格资源里运行着200 以上不同的 IB 和零售分析应用 全球动态共享的40,000 cores 能够持续维持70% 以上的利用率 超强的管理效率 – 管理者与主机的比为 1:400 作业吞吐量 – 400,000,000 作业 / 天 14 条不同的业务线共享着全球的HPC资源 为每个商业业务单元确保SLA s时间指标, 实现广泛的资源共享 4 个数据中心包含了异构的Linux Windows 主机, 一处在伦敦,一处在香港,还有两处在美国 处理国内增长的风险,定价应用和其他的商务应用,与SAS, Murex 等集成. 异构的工作内容 (批处理, SOA, 计划部署 Map Reduce) 自定义服务, 报表和退款 实时的监控和管理主机, 所有全球资产的完全可视化 针对整个企业相关应用和风险控制的全球资源分配方案 在数据中心和功能域基础上的有关LOBs和应用的弹性的资源分配模式 横跨整个地域的有关 LOBs 和应用的全球资源共享视图 * 实时数据分析方案-内存分析数据库 --Power+DB2 BLU Stand Alone Solution Advantage Architecture：Open Solution is more preferred in China customers Technology: Dynamic In-Memory, Actionable Compression, Parallel Vector Processing, Data Skipping, etc. Performance：DB2 BLU on Power 7x better performance than SAP HANA Price：DB2 BLU on Power 1/9 cost of SAP HANA Sizing 720(8c, 128GB) 2.5-5TB 740(16c, 256GB) 5-10TB 750(32c, 512TB) 10-20TB 720(4c, 64GB) 2.5TB 38x Average Acceleration of database queries for reporting(vs. previous version) 实现10TB 数据亚秒级查询 Power+DB2 BLU内存分析案例 企业ETL应用 DB2 BLU加速原来Row数据库中需要执行2小时20分的ETL过程缩减到3分30秒即可完成，整体提升性能30倍， 硬件环境： Power7 16Cores；128GB Our BI solution is built on a Cognos/DB2, With BLU Acceleration, we have been able to reduce the time spent on pre-aggregation from one hour to two minutes. ?BLU Acceleration is truly amazing. –Yong Zhou, Sr. Manager of Data Warehouse Business Intelligence Department, Taikang Life Insurance 企业数据仓库应用，承担全行报表表查询，数据供给 作为企业入门级数据仓库系统与Row数据库相比性能提升15倍。 节省70%的存储空间，90%的表压缩率达到90%以上，其中最大的单表120G压缩后为15GB 一张1400万记录的表与一张400万记录的表做left join，3秒内显示结果.* 硬件环境: Power7 4Cores; 32 GB 谢 谢 IBM 方案 vs 纯开源方案 相对于基于纯开源Hadoop修改的方案，IBM Symphony软件有以下特点： 三级粒度资源管理和调度能力，支持资源分组。 多样化的资源调度策略，如支持优先级、独占、按比例共享、点对点借还、抢占、按时间预留等。 完善的用户/租户定义和管理机制。 端到端的资源SLA保障机制。 对于服务器CPU/Mem/IO资源的细粒度精确管控能力，多维度调度资源，提高整体使用率。 基于用户的数据共享和安全隔离机制 健全的图形化监控管理用户界面 对开源版本Hadoop及各种新型数据工具的开放兼容能力，支持一个平台同时运行多个Hadoop/YARN版本及实例。 对多种OS和硬件平台的开放兼容和异构支持能力 Symphony基于c/c++编写，经过多年优化，比纯开源Hadoop性能更好 Sym