大数据在水电工程行业的应用.pptxVIP

大数据在水电工程行业的应用第1页/共37页第2页/共37页目录45213大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法第3页/共37页大数据概念的提出最早提出“大数据”时代已经到来的机构是全球知名咨询公司麦肯锡。2011年，麦肯锡出版了研究报告《大数据：创新、竞争和生产力的下一个新领域》，产学研界对“大数据”的关注达到历史性新高度。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素；而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。互联网、移动互联网、物联网、云计算的快速兴起以及移动智能终端的快速普及，正使得当前人类社会的数据增长比以往任何一个时期都要快。越来越大、越来越快、越来越复杂，数据特性的演变和发展，催生了一个全新的概念——大数据。第4页/共37页大数据的定义IBM定义大数据的3 个特征：数量、种类和速度IDC定义大数据的四大特征(4V)： 海量的数据规模(Volume) 多样的数据类型(Variety) 快速的数据流转和动态的数据体系(Velocity) 巨大的数据价值和低密度(Value)1P=106G 1Z=1012GMckinsey定义： 量极大，无法用常规数据软件进行获取、存储、 管理和分析的数据集第5页/共37页大数据的范围结构化数据：存在于关系数据库中，多年来一直主导着IT应用；半结构化数据：包括电子邮件、文字处理文件以及大量发布在网络上的新闻等，以内容为基础，这也是谷歌和百度存在的理由；非结构化数据：广泛存在于社交网络、物联网、电子商务之中。伴随着社交网络、移动计算和传感器等新技术不断产生，有报告称，超过80%的数据属于非结构化数据。更广的信息范围新的数据与分析类型实时信息来自新技术的数据非传统形式的媒体大数据量必威体育精装版流行词* 2012年IBM对95个国家中26个行业的1144名专业人员调查结果社交媒体数据第6页/共37页大数据涉及的关键技术技术描述Hadoop，x86/MPPMap Reduce分布式文件系统海量数据存储技术流计算引擎Streaming Data实时数据处理技术Infini Band服务器/存储间高速通信数据高速传输技术Enterprise Search文本检索、智能有哪些信誉好的足球投注网站、实时有哪些信誉好的足球投注网站有哪些信誉好的足球投注网站技术Text Analytics EngineVisual Data Modeling自然语言处理、文本情感分析、机器学习、聚类关联、数据模型数据分析技术第7页/共37页大数据已应用于各行各业金融服务业欺诈检测360°客户视图能源与公用事业智能电表分析资产管理交通运输物流优化缓解交通拥堵数字媒体 实时广告定位属性分析零售全渠道营销实时促销健康与生命科学病历分析疾病监测通讯 客户资料货币化网络分析优化司法执法多点监测网络安全检测第8页/共37页目录45213大数据概述项目背景项目目标与内容大数据应用场景项目流程与方法第9页/共37页全球进入大数据时代，数据呈现爆炸式增长趋势随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长 信息处理技术的发展使数据价值能够被更好地挖掘和利用传统的数据处理技术已经无法应对新的挑战来源：IDC数字宇宙研究报告，2011.11据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB （35,000,000PB），为2009年（0.8ZB）的44倍第10页/共37页各国政府高度重视大数据，上升到国家战略高度美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative” 将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论中国：工信部物联网十二五规划信息处理技术作为4 项关键技术创新工程之一被提出包括海量数据存储、数据挖掘等第11页/共37页贵州省开放政府大数据实验　 2014年6月,贵州省政府出资1亿元,成立云上贵州大数据产业发展有限公司,专门运营政府搭建的云平台，并展开招标，服务器选择了浪潮,机房选择了中国联通,操作系统选择了阿里。在该平台中，基础设施层、系统平台层需要政府主导去做；应用层、增值服务层、智能终端层则应该更多地交给市场。 2015年4月14日，全国首个大数据交易所——贵阳大数据交易所成立，用于政府、企业之间的数据交易。秉承国有控股、混合所有制、百分百市场化运营管理的体制，不同品种的数据根据品种、时间跨度等实行不同的价格机制。第12页/共37页贵阳市已经成为国内大数据应用的先头兵 在过去一年里，贵阳奇迹般地创造出五个“中国第一”—中国首个大数据战略重点实验室、中国首个全域公共免费WIFI城市、中国首个块上