(45)--5 大数据大学计算机.ppt

大数据 大数据的产生背景进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。” 大数据时代发展的具体历程2005年Hadoop项目诞生，采用Hadoop分布式文件系统（HDFS）的可靠数据存储服务，以及利用一种叫做MapReduce技术的高性能并行数据处理服务2008年末，“大数据”得到部分美国知名计算机科学研究人员的认可，业界组织计算社区联盟 (Computing Community Consortium)，发表了一份有影响力的白皮书《大数据计算：在商务、科学和社会领域创建革命性突破》 大数据时代发展的具体历程2009年，印度政府、联合国、美国政府、肯尼亚、英国等陆续开放了政府数据2010年年2月，库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据，无所不在的数据》。2011年2月，IBM的沃森超级计算机每秒可扫描并分析4TB（约2亿页文字量）的数据量，并在美国著名智力竞赛电视节目《危险边缘》上击败两名人类选手而夺冠。后来纽约时报认为这一刻为一个“大数据计算的胜利。”同年5月，全球知名咨询公司麦肯锡(McKinseyCompany)肯锡全球研究院（MGI）发布了一份报告——《大数据：创新、竞争和生产力的下一个新领域》，大数据开始备受关注，这也是专业机构第一次全方面的介绍和展望大数据。 大数据时代发展的具体历程2012年1月份，瑞士达沃斯召开的世界经济论坛上，大数据是主题之一，会上发布的报告《大数据，大影响》(Big Data, Big Impact) 宣称，数据已经成为一种新的经济资产类别，就像货币或黄金一样。2012年3月，美国奥巴马政府在白宫网站发布了《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特征。2014年4月，世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告（第13版）》。5月份，美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据：抓住机遇、守护价值》。 大数据在国内的发展历程2011年12 月，工信部发布的物联网十二五规划上，把信息处理技术作为4 项关键技术创新工程之一被提出来，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。2012年7月，为挖掘大数据的价值，阿里巴巴集团在管理层设立“首席数据官”一职，负责全面推进“数据分享平台”战略，阿里巴巴也是最早提出通过数据进行企业数据化运营的企业。2015年，国务正式印发《促进大数据发展行动纲要》标志着大数据正式上升这国家战略。2016年，工业和信息化部印发《大数据产业发展规划（2016－2020年）》 什么是大数据数字化时代特征：数据量的爆炸性剧增数据来源的极大丰富大数据是基于多源异构、跨域关联的海量数据分析所产生的决策流程、商业模式、科学范式、生活方式和观念形态上的颠覆性变化的总称。“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。 大数据的特点大数据的“4v”模型：海量的数据规模（volume）、快速的数据流转和动态的数据体系（velocity）、多样的数据类型（variety）和巨大的数据价值（value）价值的稀疏行：数据大了信息少了 大数据的影响对决策变化的影响经验即决策-数据辅助决策-数据即决策大数据的研究态势：实践：互联网的大数据、政府的大数据、企业的大数据、个人的大数据技术：云计算、分布式处理平台、存储技术、感知技术理论：特征定义、价值讨论、现在和未来、大数据隐私 大数据处理适用于各处理环节的MapReduce等大规模并行处理方式数据采集：chuk-waFlum数据预处理：sqoop数据存储：HDFS Hbase数据分析/挖掘：Hive Mahout结果展现：PowerView Karmasphere 本节小结大数据产生的背景大数据时代的发展历程大数据在国内的发展什么是大数据大数据的特点大数据的影响大数据处理