云计算与大数据的关键技术及应用.docVIP

云计算与大数据的关键技术及应用 1013010304 何维坤 云计算被认为是继个人电脑、互联网之后电子信息技术领域又一次重大变革，其通过虚拟化有效地聚合各类资源，通过网络化按需供给资源，通过专业化提供丰富的应用服务，这种新型的计算资源组织、分配和使用模式，有利于合理配置计算资源并提高利用率、降低成本、促进节能减排，实现绿色计算。云计算发展的技术基础主要包括互联网、网络计算、虚拟化技术、服务计算，以及按需付费机制。其目的是为用户提供基于虚拟化技术的按需服务，提供形式主要分为基础设施即服务（IaaS），平台即服务（PaaS）和软件即服务（SaaS）。依据底层基础设施提供者与使用者的所属关系，云计算平台可以分为公共云、私有云和混合云。 对于大数据还没有一个正式的定义，目前最为普遍的定义就是“用传统方法或工具不能处理或分析的数据”。大数据具有大量、速度快和多样性三大特征，这些特征是传统数据处理方法和工具所无法胜任的。 云计算关键技术主要包括四个方面： 1.云平台服务优化管理技术。服务优化管理是提高云平台服务质量和平台性能的关键问题。其关键技术包括：云服务资源管理，研究物理机、虚拟机与虚拟集群的按需管理和分区隔离机制；云任务管理，研究云计算任务的分类、高效调度、负载平衡、功耗管理与容错等；云数据管理，研究大规模结构化、非结构化和多媒体数据的建模、组织、存储、操纵、检索、备份和保护以及数据服务技术；应用行为分析与系统测评，研究云计算负载刻画、云任务运行监控与云系统评测的度量方法和基准程序集合；云安全及隐私保护，研究支持不同用户的功能、性能和故障隔离，支持用户身份和用户数据的隐私保护，提供政府监督管接口等； 2.云计算应用构建与集成技术。云计算应用构建与集成技术是为行为用户提供服务的关键。关键技术包括应用服务化、应用虚拟化、应用服务集成技术； 3.云计算应用系统持续运行技术。为了支持企业的关键业务，云计算平台应用系统的持续运行是基本需求，因此需要研究云计算应用系统的持续运行 技术，主要研究：云计算平台物理资源和虚拟化资源的动态监控技术、云计算平台服务监控技术、云计算应用和用户活动的监控技术；基于监控的故障评测、异常处理、容错及恢复机制，软件服务无缝迁移技术等；计算系统持续运行技术，研究云计算平台中虚拟机的出错迁移机制、虚拟化集群的容错机制、虚拟机安全机制等； 4.云计算多模式客户端技术。网络时代的计算以数据、用户和服务为3大中心，云端共存、云端互动是未来计算架构发展趋势。云客户端既包括传统的PC机、笔记本，也包括手机、PDA、汽车移动终端和家电终端等智能移动设备。主要研究多种形态的云客户端 接入技术、多模式客户端服务环境。面向云计算典型行业应用需求，需要研制多种形态，支持三网融合的轻量级云客户端接入技术，为用户提供简单易用的云计算服务；面向典型行业应用众多用户的个性化需求，研究多模式的客户端自适应云服务软件环境。 大数据并非一项技术，其前身是商务智能BI。大数据是一系列信息技术的集合，包括数据采集、数据管理、计算处理、数据分析和数据展现5个关键技术环节。其中，数据管理、计算处理和数据分析3个环节的变革较大。 数据采集主要是从本地数据库、互联网、物联网等数据源导入数据，包括数据的提取、转换和加载。由于数据源不一样，数据采集的技术体系也不尽相同。其面临的挑战主要来自两方面，一是如何自动实现对接收的海量数据按照特定策略进行过滤，从而大幅度降低后续存储和处理的压力；二是如何自动生成元数据，准确描述数据出处，获得途径和环境等背景信息，并且将企业内部的数据与互联网的元数据相关联，进行多维元数据分析。不同行业对于元数据的录制要求不尽相同。 大数据对存储管理技术的挑战主要在于扩展性。首先是容量上的扩展，要求底层存储架构和文件系统以低沉本的方式及时按需扩展存储空间。传统的NAS、SAN 等存储架构下，存储和计算分离，进行数据计算时I/O容易成为瓶颈，文件系统也存在吞吐量和可扩展性差的问题。新的以谷歌GFS和Hadoop HDFS为代表的系统中，普遍采用了分布式的存储架构，使得计算和存储节点合一，消除了I/O瓶颈，文件系统也采用分布式并行设计。但GFS/HDFS主要针对大文件的追加（Append）写入和读取进行了优化。下一步的重点是突破GFS/HDFS在写操作、小文件存取等方面的性能瓶颈，设计新的文件系统。其次是数据格式可扩展，满足各种非结构化数据的管理需求。 对大数据进行分析处理要消耗大量的计算资源，这对计算的速度和成本都提出了更高要求。采用并行计算是应对大计算量的普遍做法。但传统的并行计算系统，一般由专用的性能强大的硬件构成，造价昂贵，若想提高系统性能，需要采取纵向扩展（Sca