云计算和大数据基础知识.docx

* 1: 100. 云计算 （一） 大数据(BigData) 1. 定义： 海量数据或巨量数据，其规模巨大到无法用当前主流的计算机系统在合理时间内获取、存储、管理、处理并提取以帮助使用者决策。 2. 特点： 1）数据量大 （Volume） ----- PB级以上 2）快速 （Velocity） ----- 数据增长快 3）多样 （Variety） ----- 数据来源及格式多样 4）价值密度低 （Value ） ----- 从大量、多样数据中提取价值的体系结构 5）复杂度 （Complexity） ----- 对数据处理和分析的难度大 3.大数据与云计算的关系： 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。 它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。 （二）云计算(Cloud Computing) 1.定义： 1）云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。 //分布式计算 2）云计算是通过网络按需提供可动态伸缩的廉价计算服务。 2. 特点： 1）超大规模 2）虚拟化 3）高可靠性 4）通用性 5）高可伸缩性 6）按需服务 7）极其廉价 3. 服务类型分类： 1）SaaS （软件即服务:：Software as a Service) //针对性更强，它将某些特定应用软件功能封装成服务 如：Salesforce online CRM 2）PaaS （平台即服务： Platform as a Service） //对资源的抽象层次更进一步，提供用户应用程序运行环境如：Google App Engine ,Microsoft Windows Azure 3）IaaS （基础设施作为服务：Infrastructure as a Service） //将硬件设备等基础资源封装成服务供用户使用 ， 如：Amazon EC2/S3 4. 云计算的实现机制（体系结构） 1） SOA （面向服务的体系结构）： 它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。 使得其服务能以一种统一的、通用的方式进行交互。 SOA可以看作是B/S模型、XML/Web Service技术之后的自然延伸。 2）管理中间件： （关键部分） 3）资源池层： 将大量相同类型的资源构成同构或接近同构的资源池。 4）物理资源层： 计算机、存储器、网络设施、数据库和软件等 5. 云计算与网格计算 1）网格是基于SOA、使用互操作、按需集成等技术，将分散在不同地理位置的资源虚拟化为一个整体。 2） 关系类似于 TCP/IP 协议 之于 OSI 模型 6. 云计算与物联网 1）物联网有 全面感知，可靠传递、智能处理三个特征。 云计算提供对智能处理所需要的海量信息的分析和处理支持。 2）云计算架构与互联网之上， 而物联网依赖于互联网来提供有效延伸。 因而， 云计算模式是物理网的后端支撑关键。 * 1.1: 1. Google 云计算原理 （一） 文件系统 GFS 1） 系统架构 2） 实现机制: ① 节点分类： Client ---- Master ---- Chunk Server ② Master 负责管理。 Client 与 Master 之间只有控制流，而没有数据流 【数据流 与控制流 分离】 ③ Client 可以同时访问多个 Chunk Server 。 【高度的 I/O 并行】 3） 特点 ① 采用中心服务器 【Master 掌握Chunk Server 情况，方便实现负载均衡】 ② 不缓存数据 ③ 在用户态下实现 4）容错机制 ① Master 容错 ： a