用电信息采集系统新一代主站架构设计与实现.ppt

MASTER STAMP MASTER STAMP MASTER STAMP 用电信息采集系统新一代主站架构设计与实现 牟 昊 国网四川省电力公司 2016年6月 前言 传统采集系统架构 截止2016年5月国网四川省电力公司用电信息采集系统已接入用户近2300万户，按照“全覆盖、全采集、全费控”的目标，预计年底用户接入将达到2800万户。且随着采集业务的不断发展，水、热、气、风、储能等信息的采集与接入，用户规模将再次出现爆发式增长。传统的采集系统主站架构已无法满足当前采集实用化发展对采集系统数据处理、数据应用的要求。 目 录 现状及问题 分析 新一代采集系统主站架构 应用成效 典型功能介绍 问题一：数据库运行效率低 采集系统现有数据库为单一生产库，读写未分离，导致数据库对海量数据的入库及海量数据的分析速度缓慢，整体运行效率低，应用相应时间长，无法满足当前采集系统实用化发展对采集系统数据的并发处理、数据应用的要求。 系统数据库CPU及IO曲线 问题二：应用响应时间慢 四川公司原来采集系统存在33%左右应用页面的查询处理时间在10秒以上，一些长时间的查询功能也无法满足用户的需求，导致用户体验度较差。 问题三：前置采集压力大 前置应用情况 采集系统通过GPRS、CDMA、CNTV、光纤等多个信道对日冻结表码、电压统计、电流统计等数据进行高密度采集；同时还需进行电价下发、费控管理等业务的支撑；此外，还需满足电价巡检、终端参数巡检等新业务的需求，对前置机的采集造成巨大的压力。 问题四：平台计算能力不足 传统统计分析架构示意图 由于采集数据的不断增长，采集系统利用传统数据库架构已逐渐无法满足其对反窃电分析、线损分析、电能质量在线监测、台区一体化指标分析和异常诊断等深化应用业务的快速响应。为更好开展此类深化应用业务，对采集系统平台计算能力提出更高要求。 电量统计 电能质量监测与可靠性 窃电嫌疑分析 数据修复 系统关键指标分析 故障诊断分析 台区一体化指标分析 线损分析 传统数据统计分析计算模式 业务应用层-高级应用统计分析 针对不同接口的接口程序 营销业务系统 电价下发接口 电价巡检接口 实时费控接口 稽查系统 电价巡检接口 供电电压自动采集 电能质量在线检测 … 采集系统对营销、调度等18个业务系统提供30个对外数据接口，对外数据交互过多导致系统接口压力过大、开发工作繁琐、档案维护困难、运维复杂等问题。 外围系统 接口服务 采集系统生产库 问题五：多接口数据支撑复杂 传统对外服务平台示意图 目 录 现状及问题 分析 新一代采集系统主站架构 应用成效 典型功能介绍 新一代采集系统主站架构 为了解决目前系统架构存在的问题，四川公司成立了攻关团队，在充分调研部分省公司，与部分采集系统建设厂商、阿里巴巴、IBM、Oracle等厂商、知名大学多次交流的基础上，制定了采集系统改造的主站架构。新架构在现有的传统架构上融合采用分布式计算技术、流计算、云资源池、缓存技术、读写分离、异步通知等技术，解决了采集系统分布式能源采集、海量数据入库、海量数据分析、海量数据计算等问题，建设了基于能源互联网的新一代采集系统主站，取得了很理想的效果。 新架构中引入读写分离、文件缓存、分布式存储、分布式计算、分布式数据库、内存计算等新技术进行设计。以满足能源互联网对多种能源信息接入和海量数据的采集处理的要求。 新一代采集系统主站架构 新采集架构 一、采用数据分库，实现读写分离 1. 将原一个数据库调整为生产库、应用库和历史库。生产数据库应用于系统采集数据的入库，以及时效性要求较高的数据和业务操作。如实时费控、终端调试等业务，生产库只存储最近3-6个月的生产数据。 2. 业务应用库应用于采集数据的应用和统计分析，侧重于数据的读取以及上层的统计分析操作，通过资源合理分配和业务的有效分割，避免应用高峰期对数据库频繁读写操作时的资源竞争。 3. 历史数据库应用于3年以上的业务数据保存。 新一代采集系统主站架构 原数据库 应用库 生产库 历史库 新一代采集系统主站架构 二、建立统一数据共享平台，实现数据提供标准化 构建统一的数据共享平台，减轻采集系统对外提供数据的压力，数据共享平台主要分为实时接口服务、历史数据服务两部分。 统一数据共享平台 营销业务系统 电价下发接口 电价巡检接口 实时费控接口 稽查系统 电价巡检接口 供电电压自动采集 电能质量在线检测 … 新一代采集系统主站架构 三、前置服务器集群改造，提升高并发处理能力 1. 采用