- 1、本文档共4页,可阅读全部内容。
- 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
??
?
??
智能电网时序大数据实时处理系统的研究
?
??
?
?
?
?
?
?
?
???
?
?
?
?
?
摘要:当前阶段,电力作为支持人们正常生产、生活的重要能源,电网铺设范围逐步扩大,提供的电力服务也更加便捷、稳定。与此相对应的,人们供电需求的不断提升,也使得电力系统的压力逐步增加,对供电单位的状态监测、数据处理与异常控制等工作提出了更高的要求。智能电网作为电力系统处理时序大数据的创新技术应用,通过对时序数据的动态收集、高效分析、快速访问处理,不仅能够对电力系统的运行状态进行实时监测,同时,还可以运用大数据技术对异常数据进行分析、反馈、处理,保证电网运行的稳定性与效率性。
关键词:批量场景;流计算;混合存储
智能电网内产生的时序数据具备实时性、无序性与规模性等方面的特征,作为重要的物联网应用形式,可以对时序数据进行更全面的采集与调度,实现配电自动化的智能管理目标。在设计时序数据智能电网系统时,应将大数据、物联平台、移动互联以及云计算等技术创新融合起来,利用高效、实时的状态数据处理系统,为电网运行状态的全面、动态控制奠定技术基础。
一、时序大数据在智能电网平台的运行特点
1、数据集的规模较大
在智能电网各个运行环节产生的时序数据可以达到千万级速率以上,每个系统数据流量测点以分钟甚至是秒级为单位,产生海量的数据。因此时序大数据监测数据处理的速率要求较高。由于智能电网平台互联、信息交互的速率高,数据规模呈现爆炸式增长趋势,需要建立起针对性的大数据处理系统。此外,社会发展离不开电力能源的支持,电力网络的建设进入了快速发展的时期,电力单位不仅需要保证电力供应稳定,同时也需要通过智能电网系统对输配电系统进行安全防护,最大限度的避免电力系统的故障风险。
2、实时的数据处理需求
智能电网平台中广域状态检测模块、调度与配电自动化模块等,都需要实时性数据处理技术支持,才能保证处理需求被满足。以WAMS为例,处理需求的事件率超过1千万/秒,常规的数据处理方式根本无法应对此处理挑战。
3、访问数据的形式多变
在电力系统中产生的时序大数据不仅是系统运行状态的重要数据反馈,同时,通过数据对比还会对异常数据进行识别,通过快速的访问、分析,对监督管理中心进行预警。由于业务需求的差异性,访问数据的形式多变,现阶段时序数据的存储系统针对性不强,还有着一定的改进空间。
二、以时序大数据为管理对象的智能电网系统设计
1、系统运行架构
在系统的最前端设置采集模块,选择集群的形式进行布置,对平台数据进行实时、高速采集。采集模块的应用场景不同,设置的主题与任务也存在差异。在采集时序数据的过程中,应在对应场景策略的指导下,通过智能电网平台对时序数据的具体应用场景进行分析。通常情况下,主题场景分为两种:批量场景、快照场景。前者反映一段时间内同一个测点产生的数据;后者反映同一时间段一批测点产生的数据。
在智能电网的状态管理中,批量场景主要用于设备状态检测、用户用电行为分析等场景,快照场景主要用于仿真反演、电量计算等场景。对不同场景采集到的时序数据进行实时、动态的分析。智能电网的实时时序处理系统中,通常设置了三种形式的实时处理机制,即批量与快照预处理及实时统计。批量与快照场景的预处理将采集的数据格式进行处理,使其适用于加载模式。而数据统计处理通常是以监测数据为对象的,在完成采集、预处理及加载处理后,选择混合模型进行存储。对于批量场景采用键值模型存储;对于快照场景采用实体关系模型存储,并根据实际访问方式,设计了适于电网应用的数据表模式。系统整体构架见下图1。
图1系统整体构架
2、时序数据的缓冲、采集
在数据采集模块主要利用DB_Value结构对数据进行存储。这一存储结构设置列一定的缓冲队列,按照“先进先出”的原则,由对应的实时处理流程进行消费。时序数据的采集分为主动式和被动式两种。由于主动式的时序数据采集通常需要按照特定的协议进行,与设备进行直接对接,因此本文主要讨论被动式的数据采集系统。被动采集系统利用外部系统对时序数据进行采集、提交处理,系统按场景提供了批量提交接口与快照提交接口,同时实现了客户端缓存、场景模式校验等功能。其中,系统客户端的缓存数据主要为广域网络故障的错误处理提供支持,在客户端存储部分状态数据,对电网运行状态进行自动监测,然后在网络故障问题解决后进行续传。场景模式下的校验操作主要是对验证数据与场景数据的匹配度进行检测,保证数据传输的接口准确。
3、以流计算为基础处理时序大数据
本文介绍的系统是以Storm为计算基础对时序大数据进行处理。一个流计算程序可以被视为一个独立的拓扑系统。其中,Spout可以输入各种类型的数据源,然后以Bolt为阶段,处理时序数据,然后依照业务需求的不同,可定制不同的Spout与Bolt,Storm提供了一个
文档评论(0)