第一周+云计算概论.ppt

* * * TPlatform：Hadoop的变种 --体系结构 -PC集群层 -云计算平台基础设施层 -数据处理应用层 --最大特点 把大小不变的GFS固定文件块变为大小可变的TFS文件块，改进使得数据的分发和读取有更好的性能 P2P环境的MapReduce --P2P-MapReduce体系结构包含三个基本角色：用户（User）、主节点（Master）和从节点（Slave）。主节点和从节点形成了两个逻辑上的P2P网络M-net和S-net --主节点失效时的作业提交和节点失效管理流程，从中可以看出P2P-MapReduce的工作过程 Yahoo云计算平台 --应用需求 （1）在相同的硬件和软件基础设施上支持各种不同类型的应用程序 （2）需要根据用户的需求动态的提供计算资源 （3）需要很高的安全保证 （4）云中的系统必须易于操作 （5）提供简单易用的API接口 （6）采用资源调度和负载均衡技术，快速高效地为用户提供服务 --平台包括三层服务，分别是基于内容的边缘服务、消息服务和核心服务 微软的Dryad框架 --主要用来构建支持有向无环图（Directed Acycline Graph，DAG）类型数据流的并行程序，根据程序的要求进行任务调度，自动在各个节点上完成任务 --Dryad的执行过程可以看做二维管道流的处理过程 -二维Dryad管道模型定义了一系列操作，包括建立新的节点、在节点之间加入边、合并两个图或是对任务的输入和输出进行处理等 Neptune框架 --基础结构中间件，通过提供标准系统的构建来保证可扩展性和有效性，同时减少服务结构的灵活性 --优点 -信息独立和用户独立，通过一个包含RPC-like访问方式的服务访问接口来压缩应用级别的网络服务。通过服务访问一个模块，可以在数据分区上实现独占 OUTLINE 云计算体系结构研究 云计算关键技术研究 编程模型研究 支撑平台研究 应用研究 云安全研究 语义分析应用 ?对大规模的RDF三元组进行语义推理和查询的速度之慢已深受广大研究者关注 ?解决方案 --应用Google的MapReduce框架来实现大规模分布式查询和推理，将RDF图分解成能够被计算节点处理的小单位 --RDF分子法提供一个处于RDF图和三元组之间的中间化的粒度方法，由于RDF分子的自身缺陷，使得其性能受到限制，提出了将RDF进行扩展的方法，包括层次扩展和顺序扩展，以克服其缺陷 生物学应用 ?Hadoop实现了两个算法来研究解决生物信息计算的问题：一个是基本的局部相似性基本查询工具（Basic Local Alignment Search Tool，BLAST）；另一个是基因集合增强分析（Gene Set Enrichment Analysis，GSEA） --BLAST：一个用来比对生物序列的一级结构的算法 --GSEA：DNA微点阵数据分析工具，用来检测在显性环境中，整个基因序列之间的相互关系，通过使用Hadoop，用Python重写GSEA算法 数据库应用 ?比较流行的云计算服务类型是将基础设施作为服务（IaaS），最著名的商业IaaS是Amazon EC2，将数据库应用部署到这种服务平台上存在诸多挑战 --1. 部署过程 --2. 调整过程 -一些工具和技术 （1）运用模型 （2）优化和控制算法 （3）系统管理工具 （4）综合调整和暗示传递（Co-tuning and Hint Passing） 地理信息应用 ?高性能工作流系统MRGIS --高效率执行GIS应用程序的基于MapReduce集群的并行和分布式计算平台 --组成：设计接口、任务调度器和运行时间支持系统 --系统的性能测试：两组实验，第一组实验是GIS工作流中典型的代数运算，测试输入是单独的数据集，数据采用Arc/ASC格式。第二组实验的测试输入数据集从远程主机上获得，工作流执行18个任务 商业应用 ?IBM阿尔马登研究中心，研究者开发了一个企业文本分析平台，应用Hadoop MapReduce框架来支持分类工作。该平台包含两个核心组件：T系统和Jaql --1）用T系统进行信息抽取 ?从非结构化文本中抽取结构化信息，并发现其中的一些关系 --2）用Jaql进行数据处理 ?一种通用数据流语言 医学应用 ?Granules：云计算的一个轻量级运行时，被设计用来管理云中的大量计算，如处理感应器产生的数据。支持云计算中两种主导的模式：MapReduce和数据流图 ?为了验证在分布式环境中运用Granules来分类脑电图数据流的适用性，将Granules的处理方法与Snowfall（基于