大数据走向云计算 (4).ppt

第4章 云下的大数据工程 云计算是当代信息领域的重大创新，它在现阶段出现有其必然性，是解决信息社会“三大”（即“大用户”、“大数据”和“大系统”）挑战的切实可行的方案。因此，必须重视它、发展它。国家“十二五”规划要大力发展包括新一代信息技术在内的战略性新兴产业，云计算就是新一代信息技术的主角。 云计算创新性地将大量的计算资源组织在一起，协同工作，意味着云计算必须在信息技术的层面，给出一种针对大规模系统的科学管理办法。已知面对大规模系统时，单纯人工管理的无力，于是云计算采取了一种自动化管理的办法，即机器管理机理。这意味着在一个大的数据中心中，只需少数人员的巡视即能完成所有的日常维护工作。 4.1 信息所需求的新生力量 之所以自2006年之后云计算才蓬勃兴起，或许是因为自那时起，云计算才真正形成了适合自身快速发展的环境。与每一次具有重要意义的变革相同，环境里各因素的共同推动，促进了云计算的产生和进一步快速发展。 随着分布式计算技术和广泛实践的大型通用分布式系统的快速发展，以及在宽带技术、虚拟化技术的推动下，云计算的技术应用快速成熟。 云计算从真正意义上具有一种独立、可以自成一类的“商务模式”，应当是从亚马逊推出简单存储服务（S3）开始，仿佛开了一扇新世界的窗口，更多的企业和个人从亚马逊的产品服务中，发现了互联网新的生命力。 4.2 信息系统工程 就技术而言，云计算表达出了一种组织的思想，即组织资源以进行服务，通过大量物理上分布的资源集中起来，以逻辑上统一的形式，对外提供服务，将“大事件”压力，分解到大量计算资源中，然后针对资源的管理、调度过程中出现的各种问题，组织各种技术进行解决。 云计算创新性地将大量的计算资源组织在一起，协同工作，意味着云计算必须在信息技术的层面，给出一种针对大规模系统的科学管理办法。已知面对大规模系统时，单纯人工管理的无力，于是云计算采取了一种自动化管理的办法，即机器管理机理。这意味着在一个大的数据中心中，只需少数人员的巡视即能完成所有的日常维护工作。 4.3 信息系统工程架构转变 多数企业在进行信息系统架构建设时，都不会进行太多的长远规划。商业模式的演变、业务目标的调整、商务流的改良，技术的进步都会对信息系统的建设产生重大影响。 首先，开发人员将系统中业务数据的管理和通用操作的功能抽象出来，将这部分在企业业务应用中几乎为普适的处理逻辑交给数据库软件来完成，并规范了业务应用与数据库软件交互的接口（SQL），实现了在架构上业务逻辑与业务数据的操作管理的分离。 其次，面向对象的编程模式的出现，使系统设计人员逐渐意识到业务逻辑的实现、业务功能的展现，以及同用户使用的交互，在逻辑架构上可以且应当有明确的界定。 最后，互联网应用的快速发展，使业务应用的接入和交付方式方法也经历了多元化、多样化的快速变革。 作为系统的神经中枢和循环系统，分布式数据总线还担负着从基础架构上根本保证系统的实时性、动态适应性、延展性及松耦合的模块化等重要特性。为此，分布式数据总线通常还提供如下能力： ● 动态创建和调整数据流； ● 动态修改数据流的属性； ● 支持不同数据流的通信优先级； ● 能力以及动态感知参与数据交换的成员状态等。 分布式数据总线图 4.4 商业变革因素 云计算平台是通过对资源进行各种组合，以满足不同业务需求。这种延续了SOA思想的架构设计模式，使企业在借助云计算平台实现业务时，可快速创建符合自身业务流程的商业应用，加速业务处理并促进创新。另外，云计算平台还可帮助企业屏蔽不同业务平台和数据来源上的差异，以一个统一的平台为业务运转和客户服务提供支撑。 海量数据处理和严格的实时业务需求，对企业内部IT系统平台在性能、可靠性和效率上提出了更高的要求，企业必须能够在面对机会和压力时做出快速反应。但大多数企业内部大量独立、分散的电脑资源和计算机群体，除了在闲置时表明一种浪费的状态之外，即为通过维护的复杂性来证明IT系统结构本身的脆弱和复杂性。 4.5信息工业革命 云计算对用户端设备提出了低要求。只要设备能接入互联网，就能使用各种云计算服务，这一方面大大降低了设备成本，并将进一步对电脑、手机等现有信息设备的发展造成影响，另一方面极大地提高了使用的便利性，减少终端设备的复杂性，用户也无须为支持各种新版本的软件频繁升级硬件设备。 消费者只需要一个终端即可在任意地方通过互联网登录云计算服务供应商所提供的操作界面，取得相应的操作权限，然后开始操作属于自己的“云电脑”。在服务端，云计算平台根据用户自己选择的基础配置，快速创造一个符合要求的虚拟环境，以提供与真实配置一样的使用体验，而用户就可通过一个联网设备，接入文件处理、图片编辑、视频观看等各种应用。 4.6 云计算机遇