基干大数据技术电力营销数据挖潜探析研究.doc

基于大数据技术的电力营销数据挖潜分析研究 　　摘 要：本文主要基于大数据应用及发展现状，分析电力大数据特征和主要技术，通过对电力营销大数据平台技术架构建模，提出了具体的软件设计理念。该思路的搭建有利于总结合理电力营销策略，有效提高电力营销企业的服务质量，挽回企业管理效益和经济效益 关键词：电力营销数据；数据挖潜； mapreduce hadoop；技术架构 1.前言 电力作为特殊商品，为国家经济建设及人类生活提供了诸多便利与支持。电力营销的理念引入，促使电力市场发生巨大变化，以客户需求与服务满意度为中心的电力营销根据市场导向的原则，成为供电企业的核心业务，电力所有生产、经营性活动均服务于营销业务的需要。电力营销有效开展需要对用户及需求市场进行大量研究，需要具备完善的售前和售后服务保障体系，需要分析大量的各种业务数据，提升电力供应安全及服务水平，这就要求电力企业运用大数据技术，大力推动数据分析技术的升级，开展数据采集、检测、处理、分析、实现企业内部数据的应用、共享、标准化、集约化、一体化，完善企业风险评价，提升企业运行效率，增强企业核心竞争力，实现企业经营效益最大化。因此，本文研究大数据挖潜技术在电力营销系统中的应用，具有一定的现实意义 2.大数据发展应用现状 大数据技术得益于计算技术及网络通信技术的快速发展，而迅速发展的智能技术之一。1989年8月，第11届国际人工智能会议在美国底特律召开，这次会议上有科学家提出了Knowledge Discoveryin Databases（KDD），即知识发现的概念，随后一些大学教授和研究机构展开相应研究，1995年KDDDataMining国际学术研讨会议正式举行，随后每年举行一次，会议主题是对人工智能数据挖潜等领域成果进行讨论及推广，促使数据挖潜技术快速发展，并取得了很多有价值的成果。目前国际上从理论、技术、应用维度方面对数据挖掘展开分析与研究，科学家们运用数据统计分析及概率相关理论、模糊技术、量子技术等多种理论与方法进行技术融合，解决复杂问题[1] 我国数据挖掘技术研究开始于1993年，中科院合肥分院当时承担了一项国家自然科学基金项目，即开展人工智能领域的数据挖掘技术的研究。随后的一些年大数据研究逐步步入正轨，由大学教授、科研人员组成的团队开展一些学习算法、相关理论、数据挖掘技术际应用等研究。随着云计算、智能工程、mapreduce hadoop等技术应用日益广泛，大数据挖潜技术也应用到电力营销、网店运营、经济数据分析、餐饮服务、航空航天、铁路运输等很多领域。伴随着网络信息技术的快速发展，许多电力企业都积累了海量的、有价值的、多种形式的数据，，因此如何利用数据挖潜技术智能地、自动地发掘数据中的有效价值，为电力企业经营管理提供最佳决策，成为急需解决的问题 3.电力大数据技术 3.1电力大数据特征 2006年，国家电网公司制定了“SG186”和“SG-ERP’信息系统规划，运用电力企业信息系统平台，通过8大主模块组装模式覆盖电力企业全部业务，并且构建了6个业务保障子系统。国家电网公司数据中心多年运营中，积累了海量的数据。这些电力大数据的特征归纳为灵活度高（Vitality），主要是数据动态变化，市场千变万化；体量大（Volume），目前电力数据的数据流GB ，TB级无法满足需要，已经达到PB ，EB ，ZB级别；类型多（Variety），主要包含结构化、半结构化、非结构化类型数据；价值大（value），电力数据蕴含着巨大的潜在价值；速度快（Velocity），电力数据以数据流的形态快速、动态的产生，数据处理的速度要求达到高速实时处理的特征；这称为“5V”特点，同时具有复杂度高（Complexity）的“1C”特点，总结起来就是“5C1V”。在分析和处理数据模型方面灵活度高，速度快，能够适应快速市场变化需求；在新的处理方法适应异构数据统一接入及实时数据处理的需求方面，系统复杂度高；从数据体量特征和技术范畴方面来看，电力大数据有着重要的、广义的背景，随着国家大数据平台建设完成和逐步应用，大量的企业运营数据得以积累应用及开发，为电力市场分析决策提供了必要的数据基础[2] 3.2电力大数据分析技术 电力大数据的分析技术从海量的、模糊的、随机的、片断性的、原始的一些电力数据中，运用统计学、计算机科学等学科中的算法、分析理论等技术挖掘出内在的模态和规律，为电力企业决策人员提供必要的决策帮助。统计学分析在于使用均值、比例、众数、中位数、四分位数、极值、方差、标准差等统计分析方法对数据形态进行分析；采用泊松分布、均匀分布、二项分布、正态分布进行数据描述，采用二项分布假设检验、T检验、K-S检验、F检验、卡方检验、游程检验等判定检验方法对分布情况进行