系统架构师论文-论分布式架构设计及其实现--20220912.pdfVIP

计算机技术与软件专业技术资格（水平）考试

论分布式架构设计及其实现

yhx2022-8-29

【摘要】

2020年2月，我司中标了某省电力公司的配网运维管控项目，该项目接入电力公司营销、设备和调度

等多个部门的专业数据，为配网运行、配网检修、配网抢修、配网工程、供电服务等核心业务提供数据支撑。

由于本项目是省级项目，系统可靠性、可用性要求比较高，具备高并发处理能力、接入的数据种类繁多、业

务模块相对独立、业务不能中断等特点。针对以上这些特点，作为系统架构师，我组织了项目组经过充分沟

通讨论验证，最后选择了分布式架构。采用分布式消息队列fafka与南向各业务模块通信，确保各类数据的

实时接入；采用分布式nosql，保障了海量量测类数据的频繁使用；采用了分布式计算框架spark，提高了关

键业务的计算分析性能，极大缩短了计算时间；采用了分布式基础架构CDH统一管理各类大数据组件，降

低了系统部署难度，简化了系统运维过程。得益于分布式架构的设计，该项目已稳定运行两年多，获得了业

主单位的一致好评。

【正文】

近几年，随着“云大物移智”技术的不断发展，大数据技术已经逐渐渗透到各个行业。ToC方面，以

BATHZ为首的独角兽们基本把持了各大风口，利用技术优势占据了有利地形，赚的盆满钵满。ToB方面，传

统行业也在转变思维，慢慢试水继而拥抱“云大物移智”，旨在优化流程、提升管理水平。【前言，可删】

2020年2月，作为系统架构师，我有幸参加了某省电力公司基于大数据技术的配网运维管控项目（下

称本项目）的系统规划、需求分析、系统设计、系统开发等实施过程。该项目标的500万，工期6个月，目

的是接入电力公司营销、设备和调度等多个部门的专业数据，为配网运行、配网检修、配网抢修、配网工程、

供电服务等核心业务提供数据支撑，是一个典型的基础数据工程项目。通过与关键干系人多轮次的沟通交

流，经过项目组内部充分的需求分析，我们识别出该项目具备高并发处理能力、接入的数据种类繁多、业务

模块相对独立、业务不能中断、系统可用性和可靠性要求高等关键需求。【项目背景】

众所周知，传统的集中式架构由一台或多台服务器组成中心节点，系统的数据和所有的业务单元都部

署在这个中心节点上，不仅存在单点故障，而且软硬件扩展的成本很高，显然不适合本项目。而分布式架构

天然具备高并发、高容错性、关键业务保护等特点，尤其是分布式架构可按需扩展，具备良好的横向扩展能

力，能满足本项目的需求。【自然过渡】

分布式架构是指由多个分散计算机经过互联网络构成的统一计算机系统，其中各个物理和逻辑资源部

件既相互配合，又高度自治地在全系统范围内实现资源管理和在动态基础上实现任务分配，并且能并行地

运行分布式程序。常见的分布式技术有分布式存储、分布式数据库、分布式消息队列、分布式计算等。分布

式存储是通过网络把分散到不同机器上的磁盘空间统一虚拟池化到存储设备上，为系统提供透明的统一的

数据存储空间，例如GFS、HDFS等。分布式数据库是物理上分散而逻辑上集中的数据库系统，它是数据库

技术与分布式网络相结合的产物，其高度依赖于高速网络，如MongoDB、PostgreSQL等。分布式消息队列

是分布式系统中重要的组件，主要解决应用耦合、异步通信等问题，实现高性能、高可用、可伸缩的分布式

架构，常见的有Kafka、RabbitMQ、ActiveMQ等。分布式计算本质上是将计算任务分解成若干个小的计算任

务，分配给若干台计算机进行处理，可以节省计算时间，提高计算效率，如spark、MapReduce等。【理论

部分】

针对本项目的关键需求，我组织了项目组沟通、讨论、验证，最后一致认为采用分布式架构能确保该

项目的成功实施，具体措施如下。【实践应用开始】

一是，选用熟悉成熟的分布式基础框架，降低技术风险。长期以来，我们团队一直从事用电信息采集

系统研发，早在2013年我们就开始接触大数据技术hadoop，经过7年的学习、实践、积累和沉淀，团队已

51CTO软考教研团队出品