分布式系统应用场景分析.docx

分布式系统应用场景分析 【 摘 要 】 随着现代通信系统的飞速发展，运营商各业务系统原先以小型机加磁盘阵列为主的硬件架构和以 关系型数据库加文件系统为主的软件架构，已经无法满足业 务对查询性能、 扩展能力等不断提高的要求。 在这种背景下，分布式系统成为了广泛讨论并应用的解决方法。论文主要讨 论几种广泛应用的分布式系统，并论述之间在不同应用场景的区别，为后续工程设计提供一定的参考和依据。 【 关键词 】 分布式系统； hadoop； mpp Analysis of the Distributed Systems Usage Scenario Wu Hong Geng Yan （ Jilin Jlu Communication Design Institute Co. ， Ltd. JinlinChangchun 130012） Abstract 】 With the rapid development of modern communication system ， the operation systems of operators which base on both the hardware architecture of each service system which mainly includes minicomputer and disk array ； and software architecture which includes relational database and file system ， have been unable to meet the continuously advanced need of query performance ， scalability. Distributed system has become a widely discussed and applied method. This paper mainly discusses the distributed system is widely used in several applications ， evaluates the difference among the scenes of applications and provide a reference and basis for further engineering design. 【 Keywords 】 distributed systems ； hadoop ； mpp 引言 随着 4G时代的到来，流量业务的数据量呈现剧增态势。由于小型机加磁盘阵列为主的硬件架构，无法实现低成本线性水平可扩展，而关系型数据库加文件系统为主的软件架构，也无法实现线性水平灵活扩展，同时关系型数据库不支持对非结构化数据的存储。运营商各业务系统原先以小型机加磁盘阵列为主的硬件架构和以关系型数据库加文件系统为主 的软件架构已经无法满足业务对查询性能、扩展能力等不断提高的要求。 分布式系统 2.1 分布式文件系统 分布式文件系统 （Distributed File System ）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通 过计算机网络与节点相连。分布式文件系统的设计基于客户 机/ 服务器模式。 一个典型的网络可能包括多个节点， 供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机 和服务器的双重角色。例如，用户可以“发表”一个允许其 他客户机访问的目录，一旦被访问，这个目录对客户机来说 就如同本地驱动器。 2.2 分布式操作系统 在大多数分布式系统中，计算机耦合形式是松耦合，因 此一个分布式系统自然有多个系统镜像。为了提升资源共享 和节点机器间快速通信，需要有一个分布式的操作系统一致、 有效地管理所有资源。其原理与封闭系统相似，可以依靠消 息传递和 RPC进行内部节点通信。此外，应该指出的是，分 布式操作系统对于升级分布式应用的性能、效率和灵活性是 至关重要的。 2.3 分布式数据库系统 分布式数据库系统有两种。一种是物理上分布的，但逻 辑上却是集中的。这种分布式数据库只适宜用途单一、规模 不大的单位或部门。另一种分布式数据库系统在物理上和逻 辑上均为分布式的，即联邦式分布数据库系统。由于组成联 邦的各个子数据库系统是相对“自治”的，这种系统可以容 纳多种不同用途的并且差异较大的数据库，比较适宜于大范 围内数据库的集成。 主流技术 3.1 Hadoop Hadoop 是一个开源的分布式系统基础架构，由 Apache 基金会开发，可以使用户能够在海量分布式数据上编写和运 行程序。用户可以简单地划分 Hadoop 来存储和处理