集群式并行计算机的数据分布中间件分析和开发.pdf

摘要 随着各大企业的数据集中及网络技术的发展，信息量越来越庞大，而从数 据库管理系统本身的应用来讲，即使运行在性能极高的大型主机上，在处理大 量并发用户和大规模数据量时，也很难满足I／O和CPU方面的性能要求。在 这种情况下，数据库管理系统采用并行技术就成为一种强烈的需要。并行数据 库系统作为提高系统性能的强有力工具越来越受到人们的重视。 本课题的目的是希望通过开发一个针对集群计算机并支持数据并行处理的 中间件系统，重点是中间件系统中数据分布技术的研究和开发，实现利用集群 计算机中的多个单机数据库来获得接近并行数据库的性能。 本课题中所研究的数据分布技术指的是无共享(SN)结构并行数据库的 数据分布技术。不同的系统它的数据分布的方法与策略也是不同的，没有绝对 通用的数据分布的方法与策略，我的工作主要就是找到适合本系统的数据分布 方法与策略。 通过对SN结构并行数据库数据分布技术进行全面的研究和比较，提出了 适合本系统的改进的Range划分方法，并设计实现了一个数据建立工具；通过 对数据倾斜的研究判断，设计了一个数据重分布的算法，依此算法开发了一个 数据重分布工具；根据研究结果和本系统的实际情况确定了采用基于容量的数 据分布策略，并对划分属性的自动选择进行了尝试，设计实现了一个翅1分属性 选择工具，具有一定的创新性。 同时还对无共享结构并行数据库系统的数据倾斜、数据复制、“小表”的 处理等数据分布相关问题进行了研究，提出了本系统中相应的解决办法，在对 “小表”的处理的研究中，确定了小表在本系统中的应用。 目前，国内的各大企业集团都在进行群集及并行数据库以及支持数据库并 行的中间件系统的研究开发工作，但从应用角度来看，由于其采用追求通用化 的技术路线，因此，在工程应用方面尚未形成规模，这为发展并行数据库中间 件系统产品留下了巨大的发展空间。 关键词中间件；数据分布；无共享结构；数据划分 。：： 堕堡些三些奎兰三矍堡圭兰堡丝奎 Abstract Withthe ofthenetwork andthe development technology increasing of centralization is informationflow and data，the enterprises gettinglargerlarger, whichmeansthatforthe data currentusers management system，when processing and amountof mainhost data，even with wiU large large—scale highperformance the terms demandsin ofYOandCPU．Under hardlysatisfy such is circumstances，it an for intenseneed the data to