智慧工业大数据平台建设方案.pptx

智慧工业大数据平台建设方案

什么是大数据及发展趋势2平台简介

什么是大数据及发展趋势

31

什么是大数据4大数据指的是所涉及的数据量及数据范围规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。

什么是大数据5大数据处理技术代表了新一代的技架构，这种架构通过高速获取数据并进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。分析：形成决策深度挖掘处理：数据抽取与集成数据加工大数据云计算结构化数据半结构化数据非结构化数据加载：导入海量数据信息交易数据融合数据行为记录数据物联网互联网通信网移动互联网智能终端

什么是大数据6数据可以广泛获取，所稀缺的是如何从中挖掘出有价值的信息，为社会提供智慧和观点有价值的数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果也就越接近于真实，意思着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合，对企业产生新的价值。

大数据发展历史7原型创建完成初形建立2008IBM推出大数据系列产品InfoSphereBigInsights、StreamsHP收购VerticaEMC收购Greenplnum、与MapR合作、推出GreenplnumHD2012华为集成Hadoop、流处理、MPPDB、并推出大数据平台解决方案20102011200620032005

平台简介

82

平台的目标构架及定位9精细化管理市场营销供应链物联网应用指标应用报表应用主题分析专题分析应用层基础分析报表多维度立方体数据挖掘实时分析自助分析数据共享能力层数据层数据统一的服务和开发SQL、FTP、WS、MDX、API..Hadoop平台明细数据汇总数据M/RHBaseHive分布式文件系统HDFS数据源结构化数据CPCE企业A系统企业B系统企业C系统……主数据仓库分布式数据库数据采集1、负责源数据采集、清洗、转换、把原始数据加载到Hadoop平台2、把加工后的数据加载分布式数据库和主数据库Hadoop平台提供并行的计算和结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力分布式数据库存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据主数据仓库存储指标数据、KPI数据和度度汇总数据数据开放接口向大数据应用方提供数据接口，给社会进行使用（实现众创）

HDFSHadoopEcosystem10PigHiveSqoop......HbaseAvroZookeeperMapReduce

Hadoop并行计算模式11HDFS-HadoopDistributedFileSystemHDFS-为了做到可靠性(reliability)创建了多份数据块(datablocks)的复制(replicas)，并将它们放置在服务器群的计算节点中(computenodes)，MapReduce.MapReduceInputHDFSSplit0Split1Split2Split3Split4mapmapmapreducereduceOutputHDFSSort/mergecopyPart0Part1

工业大数据平台12大数据管理平台建模、算法(Noah：LifelongMachineLearning/HumanComputationetc)NativeApi/SQL/AppEngine服务封装流处理非、半结构化处理结构化处理存储密集类：MVX集中存储与归档计算密集类：服务器带本地硬盘

工业大数据平台-整体技术架构13A.HtmlB.HtmlUIWidgetUI框架Web服务器展示组件(图表|图库|仪表盘|交叉表)通知模板展现终端告警监控数据模型数据集成企业A系统CPCE企业B系统XXX系统实时数据ETL集成数据Adaptor二维业务事件分析实时多维分析引擎统一数据中心业务规则引擎告警渠道

生产数据来源14供应侧设计支持商务产品企业设施运行设施HRERPFINSCMCADCRMMESTMSEAMMICAMWMS……MPMEA客户侧从企业生产管理系统中获取数据

社会公有云大数据企业私有云数据生产管理数据大数据分析15企业能效目标差异化性能/质量/成本大数据分类产品多维度标签数据采集传感器/RFID大数据分析模型实验模型/算法/迭代模型价值变现模型优化/迭代现场客户端

感谢聆听批评指导