大数据的发展现状讲诉.ppt

大数据的发展现状 2015年7月 一、大数据的提出及概念 1 2 3 大数据的提出 大数据的概念 大数据的特点 大数据最早在上世纪90年代被提出，麦肯锡在2012年的评估报告中指出“大数据时代”已经到来，使得人们对于大数据重要性的认知和关注度进一步增加。 研究机构Gartner给出的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值） 二、国内外大数据的发展现状 2012-2017年全球大数据市场规模 2014 年全球大数据市场规模达到285 亿美元，同比增长53.2%。大数据成为全球IT 支出新的增长点。2014年大数据对全球IT 开支的直接或间接推动达2320 亿美元，预计到2018 年这一数据将增长三倍。 2014 年，我国大数据仍处于起步发展阶段，行业应用得到快速推广，市场规模增速明显。2014 年，我国大数据市场规模达到75.7 亿元，同比增长28.4%。 2012-2016年中国大数据市场规模 视频监控摄像头广泛应用于主要道路、热点地区、地铁和居民小区的安全监视。北京超市食品架前均要求装能清晰拍到走在架前的人的脸部。 一个8Mbps摄像头每小时产生3.6GB,很多城市的摄像头多达几十万个，一个月的数据量达到数百PB，若需保存3个月则存储量达EB量级。 国家税务总局每月收集全国数据4TB，己集中的结构化数据260TB 北京市政府部门数据库总量2011年63PB，2012年95PB 三、各大行业的数据积累与价值 政府数据 被标签和分析的数据类型比例 监控 嵌入与医疗 数据处理 娱乐与社交媒体 消费者图像与视频 2010 2015 2020 50% 100% GE的每一引擎装20个传感器，在飞行过程中每隔一段时间通过卫星将传感器收集的引擎状态传给GE公司。每个引擎每飞行小时产生20TB,从伦敦到纽约每一飞行产生640TB级数据，GE每天收集PB级引擎数据。美国每月收集360万次飞行记录，监视机队25000个引擎。 GE通过对所生产的2万台喷气引擎的数据分析，开发的算法能够提前一个月预测其维护需求，预测准确率达到70%。依此对喷气引擎预防性维护，在美国就防止了不止6万次的航班延误或取消。如果将传感数据收集和分析用于燃油效率上，1%的提高就能使航空业每年省20亿美元。 三、各大行业的数据积累与价值 制造业数据 公交一卡通每天4千万次，地铁一千万人次。北京市交通调度中心每天数据增量30GB，存储量20TB 发卡量40亿张，每天近600亿次交易，每秒50万次记录，存储量350TB 三、各大行业的数据积累与价值 服务业数据 年均产生数据510TB(不含视频)累计产生数5PB 用户上网记录每秒83万条，对应年数据量3.6PB 农夫山泉每天从销售其矿泉水的超市回传10张照片，每月3TB 企业级数据仓库存储量已超过350TB，积累的数据4. 5PB 工商银行 每年产生结构化和非结构化数据分别突破100TB和1PB，已归档PB级数据 农业银行 每日约处理600G数据，存量数据超过70TB 交通银行 现在一个病人的CT影像往往多达两千幅，数据量己经到了几十个GB. 如今中国大城市的医院每天门诊上万人，全国每年门诊人数更是以数十亿计，住院人次己经达到两亿人次。按照医疗行业的相关规定，一个患者的数据通常需要保留50年以上。 三、各大行业的数据积累与价值 医疗数据 中山大学第一附属医院 数据存储量（TB） 淘宝——每天交易超过数千万笔，其单日数据产生量超过50TB, 峰值时处理交易达到9万笔/分钟，1GB/s。在阿里数据平台事业部的服务器上有超过100PB己处理过的数据。 百度——每天要处理60亿次有哪些信誉好的足球投注网站请求(谷歌为30亿次)，新增10TB，处理100PB数据，每天产生一个TB的日志。目前存储网页数近1万亿，数据总量1000PB 腾讯——腾讯QQ月活跃用户超8亿，微信用户5亿，在线人际关系链超1000亿，每天1千亿次服务调用，日新增200-300TB数据量，每月增加10%。经压缩后的数据总存储量100PB 新浪微博——每天有数十亿外部网页和API接口访问需求。在晚上高峰期，微博每秒要接受100万以上的响应请求。 三、各大行业的数据积累与价值 互联网数据 图灵奖获得者Jim Gray提出新摩尔定律: 全球新产生的数据年增40%,全球信息总量每两年就可以翻番! 《红楼梦》含标点共87万字，每汉字占2B，全书1.74MB,1EB =6626亿部，即全球人均100部《红楼梦》，1EB可刻满1.68亿张DVD 三、各大行业的数据积累与价值