基于生产现场的大数据分析平台的应用.docx

??

?

??

基于生产现场的大数据分析平台的应用

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

摘要:工业大数据具有大体量、多源性、连续采样和价值密度低等特点,使用传统分析方法，需要掌握很多数据库和编程方面知识。企业建立的专业大数据分析平台，很难适应不断变化和发展的大数据分析需求，需要不断的更新。而大部分办公人员都经常使用的EXCEL，其中的加载项powerpovit就是一个简单灵活的大数据分析工具，经简单培训就能进行高效的大数据分析，同时Excel的传统优势就在全面而灵活的数据分析。

关键字：工业大数据；powerpovit

作为新一轮工业革命的重要内容，正在快速发展的工业大数据成为世界各国争相抢夺的制高点。中国政府也高度重视大数据产业的发展。从《中国制造2025》，到《关于积极推进互联网+行动的指导意见》，到《十三五规划纲要》，再到《关于深化制造业与互联网融合发展的指导意见》均对大数据产业做出明确部署，并专门制定了《促进大数据发展行动纲要》。工业大数据是大数据最为重要的一项内容，《促进大数据发展行动纲要》的一项主要任务就是深化工业大数据创新应用。

1、工业大数据

工业大数据是指在工业领域中，围绕典型智能制造模式，基于工业数据，运用先进大数据技术，贯穿于工业的设计、工艺、生产、管理、服务等各个环节，使工业系统具备描述、诊断、预测、决策、控制等智能化功能的模式和结果。

工业大数据技术是使工业大数据中所蕴含的价值得以挖掘和展现的一系列技术与方法，包括数据规划、采集、预处理、存储、分析挖掘、可视化和智能控制等。工业大数据应用，则是对特定的工业大数据集，集成应用工业大数据系列技术与方法，获得有价值信息的过程。工业大数据技术的研究与突破，其本质目标就是从复杂的数据集中发现新的模式与知识，挖掘得到有价值的新信息，从而促进制造型企业的产品创新、提升经营水平和生产运作效率以及拓展新型商业模式。

工业大数据除具有一般大数据的特征（数据量大、多样、快速和价值密度低）外，还具有时序性、强关联性、准确性、闭环性等特征。

2、Powerpivot

PowerPivot是Excel中可用的三大数据分析工具之一。它是一种数据建模技术，用于创建数据模型，建立关系，以及创建计算。可使用PowerPivot处理大型数据集，构建广泛的关系，以及创建复杂或简单的计算。

PowerPivot支持最大为2GB的文件，并且可处理内存中最多4GB的数据。在PowerPivot窗口中可以通过对数据模型的操作来创建较复杂的数据模型，在Excel和PowerPivot窗口中处理的数据存储在Excel工作簿内的分析数据库中，可以理解为PowerPivot是Excel的后台数据库，主要是为了解决海量数据存储问题，EXCEL一个SHEET页的最高行数只能存储100万行左右，而PowerPivot可以存储上千万甚至是上亿的数据行，并将通过一个强大的本地引擎来加载、查询和更新该数据库中的数据。由于数据存储在Excel中，所以可以立即供数据透视表、数据透视图、PowerView和Excel中用于聚合数据和与数据交互的其他功能使用。所有数据呈现和交互均由Excel提供；作为分析一般使用的并非明细数据，而是聚合的、汇总的数据，因此可以充分利用Excel的透视表和透视图及报表筛选、切片、钻取的分析功能。

3、工业大数据的数据源的数据整合

工业大数据来源大多数来源于三方面。信息管理系统数据是指传统工业自动化控制与信息化系统中产生的数据，如ERP、MES等。机器设备数据是来源于工业生产线设备、机器、产品等方面的数据，多由传感器、设备仪器仪表进行采集产生。外部数据是指来源于工厂外部的数据，主要包括来自市场、环境、客户、政府、供应链等外部环境的信息和数据。

以中烟工业的下属工厂大数据应用来看，不同车间，管理和生产数据存在于不同服务器或不同结构的数据库。概括数据存储于两种数据库，一种是的关系数据库，如Oracle，SQLserver等，由很多表存储数据，以关系来索引这些数据。主要用于存储了MES所需要的数据，如不同生产批的质量参数数据与分析报告等。另一种是工业现场监控与实时控制系统的实时过程数据库，如IFIXiHistorian，iFIXPDB，由一张表存储过程数据，可以通过数据标签和时间来索引数据，存储了生产过程中传感器或中央处理器的过程数据。两种数据库结构不一样，但包含的信息都具有很大的分析价值。

由于数据库技术不同，即便使用相同的数据库技术，也因不同数据库的表结构不同，存在数据整合的技术壁垒。通过大数据分析工具powerpovit来提取不同数据库的数据则使这个过程变得容易很多。

3.1Powerpovit与