大数据_BigData-MapReduce-新生态系统.ppt

当前研究热点 (5) 突破MapReduce 计算模型的局限性:深入分析MapReduce 计算模型内在的局限性,考虑如何改进或扩展MapReduce. 比如提高MapReduce 系统的容错性 改善MapReduce 系统任务调度的方法 超越MapReduce 的局限性,实现更为有效的 并行计算模型 * 当前研究热点 Washington 大学的研究人员对MapReduce 框架进行了扩展,使之能够有效地支持迭代式并行程序的执行 * 当前研究热点 (6) 关系数据库和MapReduce 混合技术研究: 如上文所述,关系数据库和MapReduce 技术 各有优缺点,如何融合关系数据库和MapReduce 技术,设计同时具备两者优点的技术架构(既有MapReduce 的高度扩展性和容错性,又有RDBMS 的高性能),也是大数据分析技术的研究趋势 * 总结 面对大数据深度分析的挑战,关系数据库技术的扩展性遇到了前所未有的困难 同时,SQL 的表达能力不足以进行复杂深入的数据分析 * 总结 MapReduce 技术具有简洁的模型、良好的扩展性、容错性和并行性,随着其性能的不断改进和分析能力的不断增强(与R,Weka 的结合等),在大数据分析的技术竞争中异军突起 关系数据库技术和MapReduce 技术相互竞争、相互学习和相互渗透,促进了数据分析新生态系统的浮现 * 总结 在新生态系统中,关系数据库技术和MapReduce 技术找到了自己的位置,发挥出各自的优势,从大数据中分析和发现有用的知识 * Barcelona 超级计算中心和IBM Watson 实验室的研究人员研究了任务联合调度 * RDBMS 和MapReduce 技术的竞争与相互渗透 RDBMS 与MapReduce 的特点比较 * RDBMS 和MapReduce 技术的竞争与相互渗透 MIT 的研究人员借鉴MapReduce 的容错思想,试图在Shared Nothing 架构的并行数据库系统上实现更高的容错性能,取得良好的容错和负载均衡效果. * RDBMS 和MapReduce 技术的竞争与相互渗透 HadoopDB是试图混合MapReduce 和RDBMS 技术的一项重要工作 在HadoopDB 中,系统清晰地分成两层,上层使用Hadoop 进行任务的分解和调度,下层用RDBMS(Postgresql)进行数据的查询和处理 * RDBMS 和MapReduce 技术的竞争与相互渗透 HadoopDB的创新之处是: 试图利用Hadoop 的任务调度机制提高系统的扩展性和容错性,以解决大数据分析的横向扩展问题; 利用RDBMS 实现数据存储和查询处理,以解决性能问题.在其性能实验中,HadoopDB 的性能仍然落后于关系数据库系统. * RDBMS 和MapReduce 技术的竞争与相互渗透 Yale 大学Abadi 领导的小组正在使用包括列存储、持续装载和分析等技术,以改进HadoopDB 的性能 * RDBMS 和MapReduce 技术的竞争与相互渗透 Greenplum(已被EMC收购)和Aster Data（已被TERADATA收购）是两家新兴的面向大数据分析的公司,他们采用的策略是在MPP 架构的并行数据库里内置地支持MapReduce,其核心引擎同时作为MapReduce 作业的执行引擎 * RDBMS 和MapReduce 技术的竞争与相互渗透 两家公司正在进行一项重要的工作,即对分析函数进行MapReduce 风格的并行化.通过并行化,数据分析函数的执行性能大幅提升. 通过引进MapReduce 计算模型的思想,对传统的并行数据库进行改造,两家公司的MPP 架构的并行数据库系统可以轻松扩展到几百个节点的规模. * RDBMS 和MapReduce 技术的竞争与相互渗透 Aster Data 更是在2010 年中发布了超过30 个的分析软件包,提供上千个可以定制的分析函数,这些函数都将以并行的方式运行在MPP 平台上,从而在性能上大大超越传统的RDBMS 用户自定义函数(UDF). * RDBMS 和MapReduce 技术的竞争与相互渗透 随着MapReduce 技术性能的提升、应用领域的扩展,关系数据管理技术和MapReduce 技术的争论一直持续着. * RDBMS 和MapReduce 技术的竞争与相互渗透 2010 年初,ACM 通讯杂志同时向Stonebraker以及Google 的Dean 进行约稿 Dean 指出,MapReduce是进行大规模数据分析处理的灵活而有效的工具; 而Stonebraker 则从最初的对MapReduce 技术的彻