大数据热点研究问题和典型研究介绍-黄宜华-2013-4-20精要.pptx

大数据热点研究问题和典型研究介绍 黄 宜 华 南 京 大 学 计算机科学与技术系 软件新技术国家重点实验室 2013.4.20,南京 多核、并行计算与大数据 并行计算 大数据 Wiki百科：big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools 大数据意指一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集 IDC报告：Big data technologies describe a new generation of technologies and architectures, designed to economically extract value from very large volumes of a wide variety of data, by enabling high-velocity capture, discovery, and/or analysis. 大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值 什么是大数据？ 大数据处理技术的重要性 大数据(Big Data)应用需求 出现越来越多的大数据应用和行业需求。2008年，在Google成立10周年之际，《Nature》杂志出版一期专刊专门讨论未来的大数据（Big Data）处理相关的一系列技术问题和挑战。 未来10多年数据将急剧增长 IDC研究报告《Data Universe Study》 提出“数据宇宙”的说法描述海量数据 2007年 2008年 2009年 2010年 2011年 大数据处理技术的重要性 大数据处理技术的重要性 未来急剧增长的数据迫切需要寻求新的处理技术手段 IDC报告《Data Universe Study》 全世界权威IT咨询公司研究报告预测: 全世界数据量未来10年将从 2009年的0.8ZB增长到 2020年的35ZB,增长44倍! 年均增长率40%! 美国联邦政府发布大数据研发专项研究计划 美国联邦政府下属的国防部、能源部、卫生总署等7部委联合推动，于2012年3月底发布了大数据研发专项研究计划 (Big Data Initiative)，拟投入2亿美元用于研究开发科学探索、环境和生物医学、教育和国家安全等重大领域和行业所急需的大数据处理技术和工具，把大数据研究上升到为国家发展战略。 大数据处理技术的重要性 7 “大数据研究的科学价值” 李国杰，《中国计算机学会通讯》，vol. 8，no.9, 2012.9 2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”，将“大数据研究”上升为国家意志，对未来的科技与经济发展必将带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分，对数据的占有和控制也将成为国家间和企业间新的争夺焦点。 大数据处理技术的重要性 8 数据科学(Data Science) 国内外出现了“数据科学”的概念 图灵奖获得者Jim Gray: 2007年最后一次演讲中提出“数据密集型科学发现(Data-Intensive Scientific Discovery)” 将成为科学研究的第四范式 实验科学? 理论科学 ? 计算科学 ? 数据科学 世界著名存储技术公司EMC：提出了“Data Science”的概念，“Data Science teams will become the driving force for success with big data analytics” 李国杰院士：“数据科学”研究的对象是什么？计算机科学是关于算法的科学，数据科学是关于数据的科学。 大数据处理技术的重要性 9 大数据将带来巨大的技术和商业机遇 大数据分析挖掘和利用将为企业带来巨大的商业价值 原始信息 行业数据 知识 报表制图 电子文档 信息检索 数据仓库 海量分析 知识挖掘 信息化技术 大数据分析 大数据处理技术的重要性 应用数据规模急剧增加，传统计算面临严重挑战 中国移动一个省电话通联记录(CDR)数据每月可达0.5-1PB，而整个中国移动每月则高达7-15PB数据；如此巨大的数据量使得Oracle等数据库系统已经难以支撑和应对 南京市公安局320道路监控云计算系统，数据量为三年200亿条、总量120TB的车辆