大数据走向云计算 (3).ppt

第3章 大数据走向云端 云计算和大数据到底有什么区别？前两年大家都在讲云计算，现在怎么又变成大数据了？其实，云计算和大数据是一个硬币的两面，云计算是大数据的IT基础，而大数据是云计算的一个杀手级应用。云计算和大数据的结合，最先影响到的是科学研究界；在商业领域，大数据也具备极大的想象空间。 本质上，云计算与大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；而数据则是计算的对象，这是静的概念。如果结合实际的应用，前者强调的是计算能力，或者看重的是存储能力。 3.1 时代双雄 当云计算录的火热之时，另外一个名词也渐入人们的视野：大数据！一看这个名字即可感受到霸气十足。早在这个世纪90年代数据仓库之父——BILL INMON就对这个BigData情有独钟，后来2008年9月，自然杂志上一篇《Big data:science in the petabyte era》再次将bigdata搞得一发不可收拾！与云计算出道让大家云深雾罩的感觉不同，对于大数据的感受是实实在在的。进入IT时代以来，我们积累了海量的数据，这些数据不断急速增加，给我们的时代带来两个方面的巨变： ● 一方面，在过去没有数据积累的时代无法实现的应用现在终于可以实现； ● 另一方面，从数据匮乏时代到数据泛滥时代的转变，给数据的应用带来新的挑战和困扰。 3.2 “大数据”走进云端 海量用户意味着巨大的经济收益可能性，也意味着巨大的并发访问压力，海量的数据存储，以及大规模的系统支持。 由于方便、快捷，且少受终端约束，随着Web技术的日益成熟，B/S结构成了当前互联网服务的主要方式，而C/S结构中服务器端承担的处理任务量也在逐渐提高。这些都要求网络连接快速可靠，也要求服务器端能够处理大量并发访问。 对于网站来说，“数据量”有两层意义：一个即为总量，一个即为流量（并发量）。总量会越来越大，即要求企业必须持续不停地购买存储设备来进行存储；流量更可怕，因为流量代表并发访问压力。 3.3 云计算与大数据的联系 云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台，大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理，也是云计算思想的一种具体体现。 对于大数据给云计算带来的影响，Teradata技术总监StephenBrobst表示，公有云架构对数据仓库没有影响，因为企业的CIO不会无缘无故把财务数据或者客户数据放到云上，那样很危险。然而，是私有云架构确实有影响： 第一，通过私有云，可以巩固数据集市，减少利用率不足的问题； 第二，可以通过灵敏的方式将数据集成，实现业务价值。 3.4 数据向迁移云计算移到 开发者喜欢云计算，因为它部署后很快能投入运行；企业喜欢云计算，因为基础设施的费用会降低；用户也喜欢云计算，因为他们能更快地获得新功能。然而几家欢喜几家愁，负责企业信息安全的IT专业人士正绞尽脑汁，寻找将应用程序和数据安全转移到云服务中的方法。 幸运的是，某些云供应商开始着手解决这个问题。谷歌提供的新功能可以将谷歌应用程序整合进现有的单点登录工具，既提高了安全性又简化了管理流程。我们采访的一家企业部署了先进的验证服务器，从而云系统就可通过轻量级目录访问协议（LDAP）进行验证。另一家企业将其基于网络的验证协议进行扩展，使之能与外部来源协同工作，并通过网络服务，使用内部托管系统对云服务进行验证。 3.5 云延伸 数据的快速增长带来了数据存储、处理、分析的巨大压力，大数据技术的引入，不但满足了系统功能和性能的要求，带来良好的可扩展性，降低了IT部署的成本，此外它还拓展了数据智能分析的应用领域。大数据技术成为当前面临快速变化、数据爆炸时代的企业提升竞争力的有力工具。 大数据技术与云计算的发展密切相关，大数据技术是云计算技术的延伸。大数据技术涵盖了从数据的海量存储、处理到应用多方面的技术，包括海量分布式文件系统、并行计算框架、NoSQL数据库、实时流数据处理以及智能分析技术如模式识别、自然语言理解、应用知识库等等。 3.6 2012年云计算与大数据挑战与机遇并存 现在，各类机构的数据正在快速增长，这些数据每天在其系统内流动；同时，云中的数据量也日益增加。随着数据量的增加，实时处理这些数据的能力已成为大数据的重要挑战之一。2012年，随着云计算应用部署的加快，大数据带来的挑战将更加严峻。 云部署的加快，对大数据解决方案产生了深远的影响。Informatica相信，越来越多的客户数据“生存”在完全不同的云环境下，公司向面临更多的对于数据质量的挑战，公司向面临更多的对于数据质量的挑战。尽管价值客户的慷慨赠与就在云中，但要得到一个非常理想的其客户单一视图以告知以客户为中心的营销战略，会更难而不是更容易。