云计算技术与大数据处理技术选编.ppt

;第一部分：云计算与大数据技术简介 简要介绍云计算和大数据技术的发展背景、主要技术特点、现状与趋势 第二部分：大数据研究涉及的层面和主要研究内容 主要介绍大数据研究所涉及的各个层面以及各层面下的主要研究内容和热点问题 第三部分：大数据并行处理技术研究 简要介绍在大数据方面所开展的一些工作 ;第 一 部 分云计算与大数据技术简介;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算发展的背景;云计算概念的由来;云计算的发展目标;云计算的主要特点;云计算的分类;云计算硬件平台 ;云计算的分类;云计算的分类;云计算发展的推动力;云计算发展的推动力;云计算发展的推动力;云计算发展的推动力;云计算发展的重要性;云计算发展的重要性;云计算发展的重要性;云计算发展的重要性;云计算发展现状与趋势;Google Cloud Infrastructure;;租用案例1 2007年，美国纽约时报租用Amazon云计算平台，用于将1851-1922年纽约时报的1100万篇报刊文章转换为PDF文件,供读者上网免费访问。 共租用了100个EC2节点，运行了24小时，处理了4TB的报刊原始扫描图像，生成了1.5TB的PDF文件。 每节点每小时费用为10美分，整个计算任务仅花费了240美元(100节点 x 24小时 x $0.10)！ 如果用自己的服务器，将需要数月和多得多的费用！ ;*;*;Microsoft Cloud Services(Window Azure，私有云平台管理和服务软件);IBM 云计算方案(私有云计算平台管理和服务软件);其它国内外IT企业云计算研发 除以上几家全球著名的IT企业外，其它著名IT企业如Cisco、HP、EMC、VMWare等，都在大力推进云计算技术和系统研发。 国内各大著名IT企业，如中国移动、中国电信、中国联通、阿里巴巴、腾讯、百度、万网等，都在大力推动云计算技术和系统研发。 尤其是著名的网络设备制造商中兴通信和华为，正在开始从传统的网络电信设备制造向计算技术领域转移，他们把云计算作为实现重大战略转移的一个重大契机;中国移动Big Cloud;阿里巴巴“飞天”云计算平台;中兴通信;中兴通信;云计算发展现状与趋势;;云计算系统的组成;云计算的关键技术;云计算的关键技术;云计算的关键技术;云计算的关键技术;Wiki百科：big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools 大数据意指一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集 IDC报告：Big data technologies describe a new generation of technologies and architectures, designed to economically extract value from very large volumes of a wide variety of data, by enabling high-velocity capture, discovery, and/or analysis. 大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值;大数据处理技术的重要性;未来10多年数据将急剧增长 IDC研究报告《Data Universe Study》 提出“数据宇宙”的说法描述海量数据;大数据处理技术的重要性;;;;大数据将带来巨大的技术和商业机遇 ;应用数据规模急剧增加，传统计算计算面临严重挑战 中国移动江苏省电话通联记录(CDR)数据每月达0.5-1PB，而整个中国移动每月则高达7-15PB数据；如此巨大的数据量使得Oracle等数据库系统已经难以支撑和应对 南京市公安局320道路监控云计算系统，数据量为三年200亿条、总量120TB的车辆监控数据 中国深圳华大基因研究所成为全世界最大测序中心，每天产生300GB基因序列数据（每年100TB） 百度存储数百PB数据， 每天处理数据10PB 淘宝存储14PB交易数据， 每天新增数据40-50TB ;大数据处理技术发展的驱动力;大数据处理技术发展的驱动力;大数据处理技术发展的驱动力; 结构特征 结构化数据 非结构化/半结构化数据 获取和处理方式 动态(流式/增量式/线上)