DB和DFS应用结合.pptVIP

* Moosefs:元数据可用性不够 Hdfs:跟rsync结合不太好,需要二次开发 Lustre:不支持数据多份,闭源 Gluster:没有数据效验 Moglilefs:虽然是基于文件存储,但存储后文件 Nosql:种类太多,应用的环境很少 Clustrix Sierra:软硬件集成商,思路值得思考 Greenplum:商业 Drizzle:不能用于生产环境,需要一台Map/Reduce框架配合 * * * * * * * * * * * * * DB与DFS应用结合 徐景春 演讲人 徐景春 部门 平台运营部 时间 2010.5.8 一、DBA的挑战 CONTENT 二、DFS的特点 三、DB与DFS的结合 四、DFS在SDG的应用 DBA的挑战 高并发 响应速度 热点数据 成本 DB性能 可用性 扩展性 监控 备份/恢复 DB管理 客服查询 数据仓库 数据分析 DB服务 DBA的挑战 OLTP的类型注定磁盘成为不断优化的对象 ATA,SATA,SAS,SSD,依然不够快 随机小IO,高并发,不断追求IOPS 商用数据库,专业存储的成本催生了开源与廉价PC的时代 热点数据往往非常头疼,很难有统一完美的HASH策略 Web2.0应用使得RDBMS开始关注NoSQL,BigTable, 高并发 响应速度 热点数据 成本 DB性能 可用性 扩展性 监控 备份/恢复 DB管理 DBA的挑战 DB与业务的耦合度太高 CAP决定了RDB的扩展和高可用难度 廉价PC服务器集群,带来了监控的复杂性和监控数据爆炸式的增长 备份/恢复永远是DBA首要的课题 所有数据都要保存,永不删除注定备份挑战越来越大 客服查询 数据仓库 数据分析 DB服务 DBA的挑战 客服事件查询,图片审核,留言审核 Web日志,DB日志,DB数据,Web客户端数据,程序客户端数据,数据源越来越多 仓库越来越大,关系越来越复杂,单位存储和性能成本需要考虑,良好的架构设计更为重要 算命要越来越快,自我修复要越来越快 一、DBA的挑战 CONTENT 二、DFS的特点 三、DB与DFS的结合 四、DFS在SDG的应用 规模效应 更为低廉的成本 “人”多力量大 良好的扩展性≠无限的扩展 良好的可用性,良好的容错性 良好的并发性能≠提升了响应速度 大文件 大部分写操作是insert,最忌讳随机update 大部分情况是insert后,文件只读 DFS的特点 基于块 moosefs hdfs lustre 基于文件 glusterFS mogilefs 基于表 nosql Clustrix Sierra 基于数据库 greenplum drizzle DFS的分类 集群文件系统 分布式文件系统 Google Google Gmail Google Earth Amazon EC2 S3 Sample DB RDS 51.Com 51DFS DFS的成功应用 一、DBA的挑战 CONTENT 二、DFS的特点 三、DB与DFS的结合 四、DFS在SDG的应用 DB与DFS的应用结合 备份 高并发 响应速度 热点数据 成本 可用性 可扩展性 监控 数据仓库 客服查询 数据分析 为什么选择NAS Or SAN? 性能 稳定性 存储空间 扩展性 为什么不选择NAS Or SAN? 成本 性价比 DFS的设计初衷:运行于廉价的普通硬件上，但可以提供容错功能。它可以给大量的用户提供总体性能较高的服务。 成本低 容错性好 整体性能好 热点数据:在不很关注响应速度的前提下,利用DFS对热点数据的分片,提供更好的读取,比如电话详单 DFS≈NAS CAP RDBMS:CA NoSQL:AP 可用性 MySQL 同步拷贝: glusterFS(brdb) 异步拷贝:HDFS 性能损失 NameNode,DataNode 可扩展性 分片策略:hash,mod,一致性HASH 数据搬迁的过程与损耗 制约DB发展的CAP 假设: 1000台服务器 20个性能指标 每5分钟采集一次 7天的数据量 4000w 监控 同比 环比 类比 群比 top N 监控的特点与DFS选取 数据量很大,并发较多,只有insert,select 数据流形式存储 便捷快速的SQL查询 也许NoSQL, drizzle是不错的选择 备份的特点 重要性 稳定压倒一切 通用性 更低廉的成本 不太追求性能 大文件存储 DFS的选取 从通用性,便捷性角度:glusterFS 从稳定性,成熟度角度:HDFS 备份 日志类型数据 Web日志 数据库审核 图片审核 留言审核 客服查询 日志类型数据特点 数据量大 一次性需求