基于内存计算技术高性能数据中心探究.docVIP

基于内存计算技术高性能数据中心探究 　　摘要摘要：大数据时代数据量剧增，信息增长速度超乎想象，成为影响数据中心性能的关键因素。如何在海量数据处理中保持良好性能是一个极具挑战性的问题。为解决海量数据的读取和统计问题，开展了高性能数据中心实现技术研究。分析了当前IT技术发展趋势，通过对内存计算技术和数据建模技术研究，采用内存计算技术和数据建模技术构建新型的数据中心，实现了数据中心性能的大幅提升 关键词关键词：高性能数据中心；内存计算；数据建模；数据仓库；大数据 DOIDOI：10.11907/rjdk.162794 中图分类号：TP301 文献标识码：A文章编号文章编号2017）005000605 1内存计算技术特点 内存计算技术是将大量的数据直接装载到内存中进行计算和处理。内存计算技术大大减少了从硬盘读写数据的时间，消除CPU和主内存的带宽瓶颈，计算速度得到大幅提升。内存计算技术融合了硬件与软件技术创新。硬件创新包括具有多核架构和以TB计的内存服务器，可实现大规模并行扩展。软件创新包括内存数据库，为最大限度发挥内存计算技术潜力而专门设计了行、列存储。并行处理在数据库层进行，而不是在通常的客户端-服务器架构中的应用程序层。使用内存计算的数据库，在理想状态下可使数据处理速度提高1 000倍以上[1] 采用内存计算技术的数据库系统，具有传统数据库不可比拟的优势：基于大容量内存的高效数据读取和处理，行存储和列存储的混合模式同时支持OLTP和OLAP，充分利用硬件并行计算技术建立数据的并行处理机制，高效的数据压缩可以优化内存利用，虚拟建模减少数据冗余，高效的动态聚合能够快速计算和汇总数据，能够在数据库层面进行数据密集型运算等[2] 目前内存数据库在业界居于领先地位的产品是SAP公司的HANA，本文在高性能数据中心实现技术的研究中采用SAP HANA作为技术平台 2数据中心平台性能提升 数据中心平台的核心是数据库系统，采用内存数据库搭建数据中心平台，能够借助内存计算技术的并行处理、内存技术、压缩（去重）技术等解决空间问题，大幅提高数据中心平台性能 2.1系统架构 基于内存计算的数据中心核心是SAP HANA内存数据库。如图1所示是一个三节点的可伸缩HANA系统架构，主节点服务器A是一个完整的HANA系统，由5个服务组件构成，与单节点的HANA系统是一样的 Name Server是名字服务器，相当于整个HANA数据库系统环境中的“通信员”，通过名字服务器可以知道当前HANA服务器的部署情况、数据在节点的分布情况以及节点的运行状态 Index Server是索引服务器，是HANA的核心组件，承担内存管理、事务管理、元数据管理器及权限认证、多版本并发控制等众多管理工作 Pre-processor Server是预处理服务器。由于HANA加入了对文本数据的特殊处理，因此需要预处理服务器分析文本数据和提取信息用于优化文本有哪些信誉好的足球投注网站功能 Statistics Server是汇总统计服务器，?责收集所有数据库组件运行的状态、执行效率和资源的消耗状态等信息，同时还监控HANA Studio的访问，并返回不同的提示信息给登录用户 XS Server是一个扩展应用服务器，可以将持久层的数据模型封装成HTTP方式提供给外部使用，它还具有对这些发布出去的服务进行有哪些信誉好的足球投注网站的功能，并且内置一个应用服务器[3] 2.2内存计算性能提升关键技术 2.2.1基于大容量内存的高效数据读取和处理 传统数据库所依赖的磁盘读取数据速度是毫秒级，而从内存读取数据的速度是纳秒级，这使基于内存的数据读取速度比基于磁盘的数据读取速度要快100万倍。内存数据库能简单地将数据从磁盘移到内存，它利用了创新的内存技术来最大限度发挥多核多CPU系统架构特性。传统内存计算技术下所有的CPU内核都通过同一个前端总线来访问内存，在多核多CPU架构下会出现数据链路阻塞。为解决这些问题，出现了快速通道互连（QPI）技术。图2所示为一个多核多CPU架构，每个CPU集成了多个QPI通道（图2中的①～④），用于点对点连接I/O控制器和其它CPU，实现快速通讯。每个CPU还配置了对应的本地内存，可通过内嵌的内存控制器直接访问。这种内存访问方式称为NUMA（非一致性内存访问） 内存数据库专门针对多核架构设计了并行化的数据处理，如HANA数据库底层代码广泛使用了优化并行处理的SIMD（单指令多数据流），如SSE3和SSE4等指令，使CPU尽量去访问和计算本地内存数据，而不是从其它CPU的本地内存中读取数据，从而更好地发挥了NUMA和QPI的优势[3] 2.2.2行存储和列存储混合模式 行存储适合于OL