云计算 - 世界大学城.PPT

一个典型的虚拟机环境 * * 虚拟机技术的问题 虚拟机技术最初使用在IBM 360的大型机中。大型机中往往采用专门的通道来来保证外部设备的访问和性能。 将该技术移植到基于商用组件的X86环境下，由于缺乏专用的通道和通道处理机来应对I/O访问，虚拟机环境下的I/O问题已经成为当前虚拟机系统中面临的最大问题。 * * 云存储:磁盘驱动器 磁盘是一种机电混合设备。 在过去的十多年中，磁盘的区域密度、轨密度和线密度分别获得了100%, 50% 和 30% 的增长。 * * 存储的角色演变 数据的增涨导致了以“计算”为中心到以“数据存储”为中心的的观念革新。 存储领域的两个重要转折点： 并行存储。比如磁盘阵列技术（RAID）。 网络存储。NAS,SAN * * 新型存储体系结构 将网络引入存储系统，改变主机与外部存储节点间的连接模式，产生了若干新型存储体系结构： 直接联网存储（ Direct attached storage , DAS ） 附网存储（network attached storage , NAS） 存储区域网(storage area network , SAN)。 存储系统必须要从少数的存储引擎向连在网络上的成千上万的商用化存储设备进行转变。 * * 三种典型的存储系统 附网存储 存储区域网 直连存储 * * 存储需求 科学计算 航空 航天 生物医学 石油勘探 * * 在过去的十多年中集群网络的重要进展之一是可以将成千上万的节点连起来，同时保证高可扩展性和相对较低的通讯开销。 采用商用化的技术来构造可扩展的集群是云存储的基本组件。 搭积木的形式来聚合存储组件。 云存储理想架构 * * 挑战1：名字空间 存储器空间的组织和分配，数据的存储、保护和检索都依赖于文件系统。 文件系统由文件和目录构成文件系统的树形层次化结构。包括集群文件系统。 当数据的访问从树根走向树叶的时候，访问的延迟会响应的增加。如果不知道文件保存位置，必须遍历整个目录。 还有两个重要的因素导致树形架构不适合于云存储环境： （1）树根本身就是一个单一失效点，而且很容易形成系统的瓶颈。 （2）树形架构很难在Internet上扩展到地理上分布的规模。 云存储只有采用非集中式的名字空间来避免潜在的性能瓶颈和单点失效。 * * 挑战2：元数据 元数据是描述数据的数据，主要用来反映地址信息和控制信息，通常包括文件名、文件大小、时间戳、文件属性等等。 在文件系统的操作中，超过50%的操作是针对元数据的. 另有研究指出，使用NFS 3.0时，其客户端和服务器端交互的信息中65%的信息是和元数据相关的。 元数据是小的随机请求。 * * 和存储容量的增长不同，机械组件所带来的延迟，磁盘的平均访问时间每年的降低不足8%。 小的随机请求,寻道时间是磁盘访问延迟中最组要的部分。这是由于磁头的稳定时间主导着磁盘的寻道时间，而且磁头的稳定时间数年来基本上没有太大的变化。 因此，对于大规模系统来讲，元数据的访问往往成为制约整个系统性能的瓶颈。 * * 云传输：广域网性能 Nielsen 法则：终端用户的网络带宽以每年50%的速度增长。 广域网： 一条T1线路的带宽只相当于千兆网的千分之一，许多帧中继线路的带宽只有256Kbits/秒。 Garfinkel 通过测量发现从美国伯克利大学到西雅图的平均网络写带宽大约是5 to 18 Mbits/秒。 由于广域网物理距离的原因，不可避免的时延也会对带宽造成影响。例如，一个T3链路（44.736 Mbits/秒），当时延超过40ms时，其带宽很快就下降到与T1链路（1.544 Mbits/秒）相当。 * * 云传输可能的解决方案 云环境必须是地理上分布的，因为云的成功在很大程度上决定于其规模效应。 计算和存储相对便宜，然而，由于广域网环境下的低带宽、高延迟和较高的丢包率，使得广域网成为云环境下那块最短的木板。 图灵奖获得者Jim Gray 在2006年就指出在广域网上处理大数据集时，应该将程序传给数据，而不是将数据传给程序。 另外，通过数据压缩、数据的去重等方法来减少网域网上的数据传输流量，降低对网络带宽的需求。采用动态缓存、IP流量管理以及QoS等方法来降低广域网的延迟。 但是，这些方法只能在一定程度上来缓解网络瓶颈问题，不能从根本上解决问题。因此，在设计云架构时，必须要考虑广域网的带宽、延迟和包丢失率所带来的影响。 * * 云环境下的传输协议 目前广泛使用的TCP/IP协议是在实验室低速网络环境下诞生的，在设计初期只是为了保证数据在链路上的可靠传输。因此，它并不是为广域网而设计的网络传输协议。 TCP/IP协议的滑动窗口，重传和恢复等机制使得广域网的传输效率急剧下降。 TCP的窗口尺寸、慢启动等机制也无法充分利用已有的网络带宽。