闪存存储技术应对大数据挑战讲述.pptx

闪存存储技术应对大数据挑战 吴忠杰 zhongjie.wu@ 北京忆恒创源科技有限公司 Agenda 闪存技术 存储软件面临的挑战 高速数据存储管理系统 大数据存储展望 QA 闪存技术 企业级SSD发展 SSD的优势 高带宽、高IOPS、低延迟 低功耗 不断下降的价格 可预测数据可靠性 高存储容量 SSD的性能优势 2000x 18x HDD、SATA_SDD以及NVMe_SSD性能对比 Memblaze NVMe SSD 国内首款高性能NVMe SSD Memblaze SSD技术 纠错码技术 数据重读技术（Read retry） BCH/LDPC 解决NAND Flash的位误码问题 确保数据从NAND Flash颗粒可靠读取 数据持久化技术(Data Retention) NAND Flash间RAID技术（RAIN） 确保数据在SSD中长期存储 确保数据在NAND Flash颗粒间可靠存储 闪存转换层技术(FTL) 磨损均衡技术（Wear Leveling） 实现SSD盘逻辑地址（LBA）和NAND Flash物理地址之间的映射 平衡SSD中NAND Flash颗粒磨损寿命 Dynamic / statistic / global wear leveling 存储软件面临的挑战 传统存储软件设计目标 减低磁盘寻道延迟、随机抖动，提高数据访问性能 Cache NCQ IO Scheduler Disk oriented data layout 传统存储软件栈 导出协议栈（FC、ISCSI、NFS） 文件系统 卷管理系统 数据保护系统 多路径管理子系统 IO 调度器/SCSI协议层 HBA驱动层 … 传统文件系统数据布局对SSD的影响 Bitmap位图操作、频繁的元数据更新操作对SSD引入额外的写放大，降低使用寿命，降低IO性能。 改变！存储介质发生了变化 高速存储性能瓶颈分析 CPU 单核无法发挥SSD性能 多核 共享资源 NUMA非对称访存 中断 大量中断 中断均衡 操作系统 内存拷贝 上下文切换 SSD特性 顺序写优于随机写 写惩罚 网络 IOPS/带宽瓶颈 面向高速存储介质的软件革新 … NVMe 驱动 应用 面向高速介质的存储软件 （RISL architecture） 数据服务系统 FlashRAID 存储管理系统 NVMe 驱动 应用 … 高速数据存储管理系统 NVMe时代数据保护、卷管理何去何从？ FlashRAID是什么？ FlashRAID是一款针对NVMe SSD数据保护、卷管理系统 普适NVMe SSD高速存储介质 与Pblaze产品配合提供绝佳性能与可靠性 为NVMe SSD提供数据存储管理 为NVMe SSD数据可靠性保驾护航 FlashRAID是什么？ 高速存储解决方案 SCSI中间层/HBA驱动 数据库 文件系统 数据库 文件系统 FlashRAID 1.0产品主要特性 数据保护 （Data Protection） 可扩展性能 （Scalable Performance） 为NVMe SSD数据可靠性保驾护航 充分发挥NVMe SSD的性能 可扩展存储容量 （Scalable Capacity） 快速数据重构 （Fast Reconstruction） 存储容量线性扩展、简化存储容量管理 确保用户数据存储的可靠性 一致的数据访问性能 （Consistent Performance） 统一存储资源管理 （Unify Storage Management） 确保用户IO访问性能的一致性 全面管理系统存储资源，简化存储管理 简便的系统管理（easy system management） 存储资源精简配置 （Thin provisioning） 人性化的系统管理 简化用户存储配置管理 FlashRAID典型应用 FlashRAID技术架构 FlashRAID关键技术 存储资源池技术（Storage Pool） 无锁IO处理模型（Lock-free IO handling model） 分离数据保护域与物理存储资源域 加速数据重构性能，增强数据可靠性 确保系统性能的线性可扩展 提升CPU处理效率 全局磨损均衡/逆均衡 可变长度条带（Variable Stripe） 延长SSD的使用寿命 避免多盘同时发生故障 减小SSD的数据写放大 智能数据重构（Smart data reconstruction） 伪随机数据分配（Pseudo-random allocator） 确保数据可靠性 平衡SSD盘中存储资源，减少数据迁移 存储对象管理（Storage object） 可靠元数据管理（Reliable Superblock Management） 简化存储资源管理 确保存储数据可靠性 创新架构：Storag