大数据综合交换共享平台技术路线.docx

大数据综合交换共享平台技术路线 技术路线 EBDP的建设基于集约化原则，采用云计算、OSGI架构、P2P智能网络和NVGRE虚拟网络、资源服务化、交换环境虚拟化、大数据分布式内存计算、大数据资源服务化等相关技术，实现大数据融合，大数据处理、大数据能力开发，平台支持多领域租户功能，支持信息资源服务共享、主题分析及大数据应用和共享监督平台、支持向云平台迁移、支持云部署和云管控。为智慧城市建设提供技术支撑。 基于OSGi的技术框架 EBDP采用OSGi规范，模块之间以服务方式实现交互，实现平台各个组成部分的松耦合模块化设计，所有的模块均能根据实际需要支持动态的插拔和修改，系统的模块能实现零依赖和配置的统一维护，避免服务不可用导致系统崩溃，保证系统的即插即用，即删即无，同时和其它应用结合具有良好的可扩展性。 OSGi是一个基于Java的服务平台规范，面向Java的动态模型系统，它是为那些需要长时间运行、动态更新，并且对运行环境的影响尽可能小的系统制定的。 OSGi的设计主旨：一个轻量级的进程内（in-process）服务容器框架，并提供完整生命周期管理。 OSGi服务平台提供在多种网络设备上无需重启的动态改变构造的功能。为了最小化耦合度和促使这些耦合度可管理，OSGi技术提供一种面向服务的架构，能使这些组件动态地发现对方。OSGi联盟已经开发了例如HTTP服务器、配置、日志、安全、用户管理、XML等公共功能标准组件接口。这些组件的兼容性插件实现可以从进行了不同优化和使用代价的不同计算机服务提供商得到。 OSGi的服务平台主要包括两部分：OSGi框架和OSGi标准服务。 OSGi定义了服务的主要工作，具体的服务规则定义了具体的功能和职责。 OSGi 框架提供了平台无关性和动态代码的装入，使得在有限的资源的设备上开放和动态部署应用程序成为可能，它提供了开发应用程序执行的上下文环境，OSGi 框架还可以动态的更新服务而不用停止执行环境。 因为OSGi技术为集成提供了预建立和预测试的组件子系统，所以采用OSGi技术将会在改善开发周期时间和降低开发成本上获益，这些组件能够动态发布到数据交换的每个组成设备上，降低维护成本。 基于P2P 智能网络数据传输技术 EBDP的数据交换采用P2P（Peer to Peer）智能网络技术，实现云数据交换节点间数据传输通道的智能路由和数据的分布式传输，同时提供交换节点传输故障转移。 P2P可以简单的定义成通过直接交换来共享计算机资源和服务，而对等计算模型应用层形成的网络通常称为对等网络。在P2P网络环境中，成千上万台彼此连接的计算机都处于对等的地位，整个网络不依赖专用的集中服务器。网络中的每一台计算机既能充当网络服务的请求者，又对其它计算机的请求作出响应，提供资源和服务。通常这些资源和服务包括：信息的共享和交换、计算资源（如CPU的共享）、存储共享（如缓存和磁盘空间的使用）等。 多业务领域虚拟化租户技术 传统的数据交换平台是根据不同的业务需求分散建设的，随着业务领域的不断扩展，导致数据交换的需求的不断增加。至少有两种数据交换平台建设模式，一种是在原有平台上的扩展，造成交换平台管理越来越复杂和多业务领域间的交互影响越来越大；另外一种模式是重新规划建设数据交换平台，导致运行的数据交换平台越来越多，建设和维护成本越来越高，同时存在严重的重复建设的情况。在云环境下针对多领域数据交换的难题，本平台提出以PaaS服务模式按需提供虚拟化多领域、多租户的解决方案。 一个业务领域对应一个租户，每个租户拥有一个虚拟化的交换与共享环境，租户与租户之间相互隔离、互不干扰，每个虚拟化交换环境包括前置交换的虚拟化、交换传输通道的虚拟化、交换传输网络虚拟化。交换传输网络虚拟化支持NVGRE标准，集成NVGRE网关控制器。 数据交换多业务领域虚拟化架构如下： 图：多业务领域虚拟化架构 基于NVGRE标准虚拟网络技术 EBDP的数据交换支持NVGRE标准，集成NVGRE网关控制器，能与微软System Center 2012等云计算基础平台进行无缝集成。云数据交换基于NVGRE通过租赁网络标识符,解决多领域交换租户间多租赁网络问题。一个大型的云数据交换平台可以支持数以百计的业务领域交换租赁用户，每个租赁用户又可以同时运行多个交换业务，他们之间的数据传输都是相互隔离的。 NVGRE创建了一个虚拟2层网络NVGRE是一个由RFC 2784定义和RFC 2890扩展的通道协议，该协议提供了一种封装方法，将交换数据包发送到2层或3层网络目的地址。NVGRE提议使用GRE来创建一个独立的虚拟2层网络，限制物理2层网络或扩展超过子网边界。 每个TNI(?Tenant Network ID)都与一个GRE通道相关联。从通道终端发送的数据包通过IP组播送往与同