云计算管窥与体验.ppt

* * * * * * * * * * * * * * * * * * * * * * * * 1．大规模集群安装技术 安装GFS的集群中通常有非常多的节点，文献[1]中最大的集群超过1000个节点，而现在的Google数据中心动辄有万台以上的机器在运行。那么，迅速地安装、部署一个GFS的系统，以及迅速地进行节点的系统升级等，都需要相应的技术支撑。 2．故障检测技术 GFS是构建在不可靠的廉价计算机之上的文件系统，由于节点数目众多，故障发生十分频繁，如何在最短的时间内发现并确定发生故障的Chunk Server，需要相关的集群监控技术。 3．节点动态加入技术 当有新的Chunk Server加入时，如果需要事先安装好系统，那么系统扩展将是一件十分烦琐的事情。如果能够做到只需将裸机加入，就会自动获取系统并安装运行，那么将会大大减少GFS维护的工作量。 4．节能技术 有关数据表明，服务器的耗电成本大于当初的购买成本，因此Google采用了多种机制来降低服务器的能耗，例如对服务器主板进行修改，采用蓄电池代替昂贵的UPS（不间断电源系统），提高能量的利用率。Rich Miller 在一篇关于数据中心的博客文章中表示，这个设计让 Google 的 UPS 利用率达到99.9%，而一般数据中心只能达到92%～95% 数据中心内的云网络：解决丢失和延迟 在云计算模式中，如果资源池中的所有资源都呈现相同的性能和可用性，资源池便是唯一有效的。这意味着建立资源池的网络连接是最重要的工作。 几乎所有的云都首先建立了“数据中心的云”，使用本地网络连接，然后再连接这些数据中心。有两个特定变量可能会决定数据中心网络是否成功，即被称为 两个L的丢失和延迟。所有的网络协议都通过重传损坏消息来保护数据以免丢失，尤其那些与存储协议有关的信息包丢失，因为这样会造成创建一个损坏文件或者使 存储设备处于不好运行状态的风险。但问题是，丢失数据包的重传需要时间，而且延迟是数据中心和存储网络中一个的特殊问题，因为它会通过数千万的操作快速积 累。 云计算网络：平坦的网络意味着未来会有更少的接口 网络专家都知道，网络中的延迟积累很大程度上与从源传输到目的地的数据包数量成比例，而且每个处理数据包的交换机都有丢失的风险，另外还加剧了总延 迟。最好的解决办法是减少两个L以减少从源传输到目的地经过的接口数量。作为一个实际要考虑的问题，即意味着减少交换机的数量。 大部分数据中心的网络规划人员认识到最好的网络就是一个尽可能“平坦”的网络，其意味着该网络不应该包括创建连接性的许多层设备。几个非常大的交换 机将比小的交换机提供更好的性能，但是将交换机集中到少数设备可能也会增加失败的风险。对于交换机来说，这意味着，尽可能高的平均故障间隔(MTBF)非 常重要，并且组件冗余，且支持操作中的自动故障切换。 如果你不能改为平坦的网络：管理分层云网络中的主干和端口连接 当需要多层交换机时，通用的流量管理规则是确保主干连接之间或其内在连接是端口连接速度的十倍。对于千兆以太网端口，你需要10G的主干。显然，这 种类型的比例将不可能实现极快的交换机到服务器或存储的端口连接，并在这些情况中，通过所谓的“结构”交换机(Infiniband就是一个例子)创建的 平坦拓扑将有更好的性能表现。 云网络的网间数据中心 建立一个云通常是指连接数据中心以创建一个无缝资源池，虽然并非总是如此。这些连接必须尽快生效，而且他们绝对会是控制数据包丢失的关键。 存储网络协议以及其他为数据包错误恢复而提供的协议可能在任何情况下都是必要的，但没有任何协议会降低数据中心之间主干的高利用率。当利用率超过 50%，丢失和延迟都会增加，而且云性能也会受到影响。这是在云数据中心之间管理流量路由时必须要考虑的问题。 云网络流量管理：从用户连接开始 连接用户到云是一个很好的开始考虑云流量管理的起始点。当用户进入一个特定的单一数据中心时，其流量必将通过你的数据中心之间的主干，然后到达并获 取其它数据中心的资源。这会迅速降低性能。 最好的方式是确保用户(设备和分支网络)直接连接(宿于)到多个数据中心，并控制云资源的分配，从而使服务用户的应用程序会在用户直接连接的数据中 心中运行。这将为应用程序组件之间的数据交换节省数据中心间的主干负荷。 云网络中的虚拟组件地址管理 该类型需要支持云计算的网络连接大致上与那些需要支持传统客户端/服务器计算处理的类型相同——有一个例外：在资源地点灵活的情况下，一旦资源分 配，必须有一个访问应用程序或组件的处理机制。 最好是在云的虚拟组件地址管理中查询数据中心联网、以及IT厂商对其的策略。目前，解决方案的部署往往是基于管理域名服务器(DNS)，将逻辑应用 程序的URLs地址解码成IP地址，或者使用网络地址转换(NAT)的形式，