2025年大数据分析在城市照明管理系统中的应用.doc

大数据分析在都市照明管理系统中的应用

作者：李今

来源：《软件导刊》第05期

????????摘要：都市照明监控历史运行数据往往蕴含著大量的潜在信息和知识，人們迫切需要對有价值的数据進行深度挖掘，并将获得的成果应用于运行状况评估、异常预警和运行参数调优中。基于都市照明监控历史运行数据，提出了一种基于大数据分析技术的应用措施，對海量运行数据進行聚类分析，以及對場景模式進行划分得到鉴别决策树，并對实時监测過程中的動态数据進行离群點分析，從而鉴别目前设备运行状况。結合应用实例對模型進行合理性验证，证明了该措施的可行性。

????????关键詞：大数据分析；聚类分析；鉴别决策树；离群點分析

????????中图分类号：TP301

????????文献標识码：A文章编号文章编号：1672-7800（）005-0001-04

????????作者简介：李今（1982-），男，上海人，硕士，上海五零盛同信息科技有限企业软件部工程師，研究方向為软件项目管理、软件系统设计与開发。

????????0引言

????????伴随社會的不停進步和计算机技术的迅速发展，信息系统在各领域迅速拓展，系统采集、累积和处理的数据越来越多，信息增速也不停加紧，這也预示著大数据時代已經到来。麦肯锡认為，“大数据”指所波及的数据集规模超過了老式数据库软件获取、存储、管理和分析的能力[1]。

????????虽然現实世界产生的数据量不停增長，但其中可理解的比例却不停下降，人們迫切需要對大数据進行分析，以理解海量数据背後的重要信息和知识，大数据分析技术应运而生。大数据分析是基于IT技术、数据挖掘、记录分析等多门學科的成果应用，通過從海量数据中分析出有效模式，获取存在的关系和规则并對发展趋势作出预测，這也是大数据生态环境中的最重要一环——使数据产生价值。

????????通過都市照明管理行业20数年的迅速发展，路灯遠程自動化监控技术有了很大提高。监控系统每分钟都會产生实時监控数据，运行至今的系统大都已經存储了庞大数据，它們记录了照明监控设备的运行状况。不過人們更关怀它們背後隐含著的知识和信息，這些“数据”中的“数据”可用于运行状况评估、异常预警和後续运行参数调优，對照明管理部门降本增效、不停改善服务质量具有积极指导意义。由此可見，大数据分析技术应用于都市照明管理行业尤為迫切和必要。

????????1大数据分析理论

????????大数据分析理论指從海量数据中分析和挖掘出知识的措施，本文重要采用聚类、分类等措施。

????????1.1数据仓库建立

????????進行大数据分析前必须搜集待分析的数据资源，虽然数据挖掘可直接從操作数据源中挖掘信息，但提议從专用性和可靠性角度考虑，不采用原有的数据库或数据构造，而是将待分析数据存入数据仓库中。

????????数据仓库是一种集成、相對静态、面向主題的数据集合，通過建立数据仓库，可将异种数据源中的数据通過集成，從而构成語义上一致的数据存储体系构造，它可按不一样的主題划分管理决策所需信息，為查询、分析和决策打下基础[2]。

????????1.2特性提取

????????数据仓库中的集合包括了大量特性，為了通過聚类分析发現潜在的运行模式，需要從序列数据中提取反应运行状况的重要特性向量。

????????這重要有两方面的工作：首先為了让模型更轻易理解，需要減少数据集的维度，删除不有关的特性并減少噪声，使大数据分析算法效果更好；另首先通過创立新属性，将某些旧属性合并或创立新的属性，這样可更有效地捕捉数据集中的重要信息。

????????最常使用的特性集提取技术都是高度针對某一详细领域，一旦大数据分析用于其他领域，首要任务就是找到新的特性并進行特性提取。

????????1.3数据预处理

????????由于待分析数据也許存在数值区间范围较大、且不一样步间段内变化快的問題，因此在大数据分析之前必须使用转换措施進行原则化处理。

????????数据原则化转换也是大数据分析中常見的转换措施之一，它通過将数据按照比例進行缩小，使之归入一种较小区间范围内，為数据分析建立相對平等的基础。原则分数（Z-score）是一种数据原则化的重要措施，可以真实地反应一种分数距离平均数的相對原则距离，原则分数可由式（1）求出：

????????Z=X-μσ（1）

????????其中，X為被原则化的数据，μ為数据集的平均值，σ為数据集的原则差。Z值代表著原始数据和数据集平均值之间的距离，它能表明原始数据在数据类集中的位置，以便在不一样分布的数据之间進行比较[3]。

????????1.4聚类算法

????????聚类就是将数据對象分為多种类，类内数据點具有较高的相似度而距离近，类间数据對象差异大而距离點遠[4]。聚类技术可以将数据集划提成不一