DTCC2016-开源的虚拟大数据存储系统Alluxio （前Tachyon）的功能与使用案例介绍.pdf

开源的虚拟大数据存储系统Alluxio （前Tachyon）的功能与使用案例介绍 顾 荣 Alluxio项目 PMC Maintainer 南京大学 PASA大数据实验室博士研究生， 2016/05/14@DTCC 2016 (Beijing) 联系方式：gurongwalker@ 微博：顾荣_NJU 内容 ? Alluxio简介 ? Alluxio是什么 ? Alluxio 的发展历程 ? Alluxio 的系统框架与原理 ? Alluxio 的重要特性与适用场景 ? Alluxio 的实际应用案例介绍 是什么 ? Alluxio是世界上第一个以内存为中心(memory- centric) 的虚拟的分布式存储系统。 ? Alluxio介于计算框架和现有的存储系统之间，为 大数据软件栈带来了显著的性能提升。 Alluxio(前Tachyon) 的最初诞生 ? 问题 ? 传统大数据分析流水线中通过磁盘文件系统（如HDFS）来共享 数据成为影响分析性能的瓶颈； ? 大数据计算引擎的处理进程（Spark 的Executor，MapReduce的 Child JVM等）崩溃出错后，缓存的数据也会全部丢失； ? 基于内存的系统存储数据冗余，对象太多导致Java GC 时间过长； ? 解决 ? Alluxio为大数据分析流水线提供内存级数据共享服务 ? 内存中的数据存放在Alluxio 中，即使计算引擎处理进程崩溃， 内存中的数据仍然不会丢失 ? 存放在Alluxio 内存中的数据不会冗余，同时GC开销大大减小 Alluxio 的发展演变 ? 如今，Alluxio 已发展为一个通用的分布式存储系 统，将不同的计算框架和存储系统紧密联系起来。 Alluxio 的发展 ? 2012年12月，Alluxio(Tachyon)发布了第一个版本0.1.0 ? 2016年4月，Alluxio 的必威体育精装版发布版本为1.0.1，正在开发1.1.0版本 Alluxio 的发展 ? 自2013年4月开源以来，已有超过50个组织机构的200多 贡献者参与到Alluxio 的开发中。包括阿里巴巴，Alluxio ， 百度，卡内基梅隆大学，IBM，Intel，南京大学，Red Hat，UC Berkeley和Yahoo 。 ? 活跃的开源社区 内容 ? Alluxio简介 ? Alluxio 的系统框架与原理 ? 整体架构 ? 文件组织 ? 读写行为 ? 容错机制 ? Alluxio 的重要特性与适用场景 ? Alluxio 的实际应用案例介绍 Alluxio整体架构 ? Master-Worker ? Master ? 管理全部元数据 Master ? 监控各个Worker状态 Client ? Worker ? 管理本地MEM、SSD和HDD Worker1 Worker2 Worker3 ? Client MEM MEM MEM ? 向用户和应用提供访问接口 SSD SSD SSD