应用驱动的基于流式框架的实时数据分区算法.PDFVIP

应用驱动的基于流式框架的实时数据分区算法 作者 康宏, 郭蒙雨, 袁晓洁 机构 南开大学 计算机与控制工程学院 发表期刊 《计算机应用研究》 预排期卷 2018 年第 35 卷第 4 期 访问地址 /article/02-2018-04-026.html 发布日期 2017-03-31 16:59:13 引用格式 康宏, 郭蒙雨, 袁晓洁. 应用驱动的基于流式框架的实时数据分区算法[J/OL]. [2017-03-31]. htt p:///article/02-2018-04-026.html. 摘要 数据分区技术是改善基于 shared-nothing 架构的大型应用性能的重要手段.当前的数据分区技术 无法高效处理应用负载所蕴涵的动态、大规模分区信息,无法即时生成分区策略.为了解决传统数 据库分区技术面临的问题,实现分区的实时处理,提出了与流式框架相结合的实时数据分区算法,通 过构建关联矩阵映射分区信息,并基于代价模型实现数据分区方案的即时生成,采用流式框架的水 平扩展机制实现了算法的高扩展性和高吞吐量适应性.实验结果表明与现有分区方法相比,算法有 较好的分区效果和较低的时间复杂度.该算法是大数据环境下针… 关键词 负载驱动, 数据分区, 流式框架 中图分类号 TP311 基金项目 天津市应用基础与前沿技术研究计划（14JCYBJC15500） ; 高等学校博士学科点专项基金 （20130031120029） 优先出版 计 算 机 应 用 研 究 第 35卷 ---------------------------- 基金项目：天津市应用基础与前沿技术研究计划（14JCYBJC15500）；高等学校博士学科点专项基金（20130031120029） 作者简介：康宏（1973-），男，天津人，讲师，博士，主要研究方向为大数据、数据挖掘、流式数据处理（kanghong@）；郭蒙雨（1993-）， 女，硕士，主要研究方向为流式数据处理；袁晓洁（1963-），女，教授，博士，主要研究方向为数据仓库、软件工程、信息系统集成、Web检索与挖掘． 应用驱动的基于流式框架的实时数据分区算法 * 康 宏，郭蒙雨，袁晓洁 (南开大学 计算机与控制工程学院，天津 300350) 摘 要：数据分区技术是改善基于 shared-nothing架构的大型应用性能的重要手段.当前的数据分区技术无法高效处理应 用负载所蕴涵的动态、大规模分区信息,无法即时生成分区策略.为了解决传统数据库分区技术面临的问题,实现分区的实 时处理,提出了与流式框架相结合的实时数据分区算法,通过构建关联矩阵映射分区信息,并基于代价模型实现数据分区 方案的即时生成,采用流式框架的水平扩展机制实现了算法的高扩展性和高吞吐量适应性.实验结果表明与现有分区方法 相比,算法有较好的分区效果和较低的时间复杂度.该算法是大数据环境下针对大规模、动态工作负载进行实时数据分区 的有效手段. 关键词：负载驱动；数据分区；流式框架 中图分类号：TP311 Workload driven algorithm for real-time data partitioning based on streaming framework Kang Hong, Guo Mengyu, Yuan Xiaojie (College of Computer Science Technology, Nankai University, Tianjin 300350, China) Abstract: Data partitioning technologies are the important means which can improve the performance and manageability for shared-nothing big systems which are popular in nowadays. However, the existing partitioning techniques can’t deal with dynamic and large scale partitioning information efficiently which potentially contained in the workload and can’t get the real-time partitioning strategies. In order to solve the problems of the traditional database partition technology, and to realize