有哪些信誉好的足球投注网站- 1、本文档共5页，可阅读全部内容。
- 2、有哪些信誉好的足球投注网站（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
??
?
??
基于大数据的电网实物资产分析评价系统设计与实现
?
??
?
?
?
?
?
?
?
???
?
?
?
?
?
摘要：伴随着我国科技的发展，大数据技术被广泛应用在各个领域中。充分分析电网实物资产管理难点，结合管理实际，构建实物资产评价分析理论体系。结合大数据技术，设计开发一套电网实物资产分析评价系统，提供对电网实物资产价值和规模等信息的即时统计分析、可视化展示，并基于海量数据分析提出切合管理需求的预测模型，进一步增强实物资产管理的前瞻性和科学性。
关键词：大数据；电网实物资产；分析评价；系统设计?
引言
当前电力资源在我国的社会经济建设，和人民正常生活中发挥着不容忽视的重要支持作用，因此如何提升整体配电网络环境运行的稳定性，成为当前该领域中共同关注的核心问题。而资产管理在该领域之中的应用，必然能够成为推动其不断进步的重要动力。
1技术选型
1.1数据库选型
在数据库选型上，关系型数据库是数据管理平台上常用型数据库，一般应用在数据频繁变更的场合，具有实时数据处理、事务处理等方面优势，但在部署架构上横向扩展能力方面明显不足，且扩展成本比较高，维护复杂，不能很好地适应数据规模迅速增长的趋势，并且在超大量数据计算分析上具有一定的局限性。而大数据分析系统在部署架构上使用分布式技术和并行处理等技术，分布式技术对海量数据的处理扩展性高，并行处理技术则可以更加高效地处理海量设备资产数据。
因此，电网实物资产分析评价系统采用了大数据分析系统（Ｈａｄｏｏｐ系列软件）作为项目的分析数据系统。实物资产评价分析系统通过在大数据平台中进行分析计算处理，将分析计算后的结果数据重新加载到关系型数据库中后，可以加快Ｗｅｂ端获取速度，以及提高用户使用效率。
1.2大数据组件选型
Ｓｔｏｒｍ与Ｓｐａｒｋ、Ｈａｄｏｏｐ这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。
（1）Ｓｔｏｒｍ是最佳的流式计算框架，Ｓｔｏｒｍ的特点是可以将数据全部加载入内存中并在内存中进行计算，所以它的定位是分布式实时计算系统。
（2）Ｓｐａｒｋ是一个基于内存计算的开源集群计算系统，目的是更快速地进行数据分析。Ｓｐａｒｋ基于ＭａｐＲｅｄｕｃｅ算法实现的分布式计算拥有ＨａｄｏｏｐＭａｐＲｅｄｕｃｅ所具有的优点，但不同于ＭａｐＲｅｄｕｃｅ的是，Ｊｏｂ中间输出和结果可以保存在内存中，从而不再需要读写ＨＤＦＳ，因此Ｓｐａｒｋ能更好地适用于数据挖掘与机器学习等需要迭代的ＭａｐＲｅｄｕｃｅ的算法。
（3）Ｈａｄｏｏｐ采用数据切片计算来处理大量的离线数据，Ｈａｄｏｏｐ处理的数据必须是已经存放在ＨＤＦＳ上或者类似ＨＢａｓｅ的数据库中，所以Ｈａｄｏｏｐ实现的时候通过移动计算到这些存放数据的机器上来提高效率。综上所述，Ｈａｄｏｏｐ离线的批量数据处理适用于对实时性要求极低的场景。Ｓｔｏｒｍ适合于实时流数据处理，实时性方面做得极好，适用于流数据处理场景。Ｓｐａｒｋ是内存分布式计算框架，适用于多次操作特定数据集的应用场合。
1.3ＥＴＬ接口技术选型
ＥＴＬ即数据抽取（Ｅｘｔｒａｃｔ）、转换（Ｔｒａｎｓｆｏｒｍ）、装载（Ｌｏａｄ）的过程。在选择过程中，选择比较了Ｋｅｔｔｌｅ以及ａｐａｃｈｅｋａｆｋａ两种工具，具体比较如下：
（1）Ｋｅｔｔｌｅ是一款国外开源的ｅｔｌ工具，纯Ｊａｖａ编写，数据抽取高效稳定，支持的数据源范围广，跨平台性较好。它允许用户管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述想要实现的功能。
（2）ＡｐａｃｈｅＫａｆｋａ是一个开源的消息系统，用Ｓｃａｌａ和Ｊａｖａ写成，并为处理实时数据提供了一个统一、高通量、低延时的平台。Ｋａｆｋａ通过磁盘数据结构提供消息的持久化，这种结构对于即使数以ＴＢ的消息存储也能够保持性能长时间的稳定。Ｋａｆｋａ有着很高的吞吐量，即使是非常普通的硬件，Ｋａｆｋａ也可以支持每秒数十万的消息。支持通过Ｋａｆｋａ服务器和消费机集群来分区消息，支持Ｈａｄｏｏｐ并行数据加载。
2系统需求分析和功能设计
2.1需求分析
实物资产分析评价需要采集多个业务系统数据，并对数据进行统一的数据格式、粒度、单位、维度值转换，实现数据的多维统计、溯源和分析功能。系统的设计要求包括以下4个方面。
1）多层级应用。本系统实现多层级数据管理功能，同时服务于省、市、县公司，提供多维度指标分析。
2）扩展性。系统设计充分考虑了扩展性，以适应新的业务需求，为潜在的新增分析指标做好了扩展兼容准备。
3）实时性。通过系统的建设和实物资产评价，可以做到实时获取原始数据、实时统计分析指标和生成报表报告。
4）闭环管理。采用闭环管理思想，可通过系统反馈资产评价工作优化效果，实现数据获取、资产评价、资产考核、问题改进、任务跟踪和任务比较。
2.2功能架构
系统所采用的大数据
文档评论（0）