大数据体系结构.ppt

一、大数据时代的新命题 二、大数据的系统架构 三、大数据的关键技术 数据挖掘的主要方法 分类（Classification） 聚类(Clustering) 相关规则(Association Rule) 回归(Regression) 其他 四、物联网与云计算架构 五、知名企业大数据架构 六、大数据系统设计案例分析 总结、交流、作业 心语共勉：学习、工作、生活的本质： Smile and do well. 微笑着做好 (笑对人生、干事认真). One day, One thing, One person. 站好一班岗，做好一件事，影响一个人 Think it, do it, and Done it. 敢想, 敢做, 做好  谢谢大家！ * * * 用户困局 最终用能单位面对节能减排的挑战，发现面临一系列传统手段难以解决的瓶颈难题，主要有四点：1、节能管理从哪里下手（节能规划部署）2、节能潜力及空间如何定位及量化（能耗诊断审计）3、节能实施过程如何把控（节能手段实施过程控制）4、节能效果如何量化确认（节能效益量化计算、EPC分成认证上报 ）。所有这些问题归结于能耗排放实时数据的缺失，也就是说没有建立健全的能耗排放在线分量计量监测管理技术手段是根本无法解决以上问题的。 政府着眼点 做成这样的覆盖全国的信息化节能减排大系统，涉及到千千万万的用能单位，按国家节能法及各省配套法规要求，十二五期末年耗能超过1千吨标煤（312万度电）的企事业单位属于省级重点能耗单位，原则上必须纳入政府节能减排监管机构的监测量化管理范畴，年能耗超过1万吨标煤的必须自建企业级能源管理系统平台接入当地市级能源管理系统平台，市级汇聚到省级能源管理系统平台，省级能源管理平台接入中央发改委全国能源管理系统平台，各分量监测计量采集点统一规划好能流图及挂表界面、统一接入工程工艺规范、统一数据采集及传输技术标准规范、统一数据采集层次（数据颗粒度）、统一设定采集时间间隔同步时刻采集，从基础能耗排放数据采集做起，逐步建立健全。 承载资源 这样大范围、多地域、全网同步的数据采集汇聚集中上传需要水平极高的云网络及云存储资源，整体系统建设和运维最适合由3大运营商承担，何况要对不同用能单位建立一一对应的多维度关联能耗排放模型，对自控可靠的用能单位要通过模型的仿真模拟计算结果，对相关用能设备实施反向开关待机操作，实现用能设备动态能效优化，这又需要极大的云计算资源，这样的操控实施更应掌握在国有主流央企手中，3大运营商的云计算资源基本有保证。个人看法外资控股的互联网企业是没资格染指此系统的。 总体思路 借鉴以往国内外建设超大规模IT平台的成功经验，政府公共能源管理平台因应省级政府管理需要，采用三级管理平台的建设思路，即省能源管理监控中心平台、市能源管理监控中心平台及企业能源管理监控系统平台，在大数据技术层出不穷的今天，这样的三级结构只是因应政府能源管理机构所对应的管理逻辑层面，云计算物理网络构成只需扁平化的二级结构（如图），即底层的物联网网关一体化采集器采集主数据，结合数据接口服务器采集辅助数据，辅助数据与其他大数据系统做数据交换（如地信大数据、相关生产系统数据等），数据采集按统一数据及接口标准规范施行，采集的数据进行校准清洗及ETL分类、融合辅助数据步骤后，汇聚上传存储于分布化虚拟化云服务器的大型能源专业数据仓库中； 平台应用层级 省级省会城市部署省能源管理监控中心平台；地市能源管理监控中心采用订制化客户端实现能源管理监察政府职能；企业能源管理监控系统即可采用订制化客户端实现企业能源管理监控功能，也可自行搭建企业能源管理监控系统与其相关生产系统（ERP）紧密融合，但能耗排放数据采集按统一数据及接口标准规范施行，同步分发及上传。（发改委）国家能源综合管理中心平台采用专门定制的客户端体现国家能源整体管理运作及节能补贴认证功能，也要接入融合某些已建行业能源管理系统的数据（如住建部、环保部等）。 政府财政配套措施 举例说明：广东省初期投入2亿作为系统建设财政补贴，其中省中心补贴300万，市中心补贴200万，企业系统补贴100万，企业补贴可以采用免费配套物联网网关、智能电表等形式。 国有电信运营商优势 这样的超大规模公共信息管理平台建设、运维及运营属于社会基础设施信息管理运营范畴，政府本身有限的人力物力及技术局限决定了其无法当此重任，由于其高级发展阶段将具备能耗模型验证后动态优化用能设备能效功能，即系统具备下行控制能力（开关待机远程操控），涉及到重大国计民生安全要素，其系统整体安全可靠性、政府自主把控度、社会整体利益及节能法规执法等因素决定了系统运作体现国家政府行为的强制性，因此此类系统只能由国有运营商承建运维，政府购买其服务并牵头主责管理运营，所有能耗排放源数据向社会有偿公开，其实这也是不少省