GREENPLUM安装(总结+注释).docx

GREENPLUM安装(总结+注释)2013-05-05 12:07?2592人阅读?评论(0)?收藏?举报?分类：?greenplum（24）?原文：viewspace-690174GREENPLUM的安装，应该说是极其简单的。大致的过程可以分成四大部分。1、准备硬件2、准备操作系统3、安装GP软件4、初始化系统。1.硬件环境的准备（如果只是构建测试平台，不考虑性能，这部分内容可以忽略）??????? 首先就是硬件准备。GREENPLUM本身只能运行X86架构的服务器上。因此甭管是普通的PC机还是PC SERVER，甚至是虚拟机都可以运行GREENPLUM。唯一的差别就是效率。??????? 按照官方文档的说法，主要是针对生产环境，构造一个标准的GREENPLUM系统需要三台PC服务器。根据实际使用经验，这些服务器至少应该是XEON以上的CPU，1，MASTER节点需要16GB内存，如果使用千兆网卡构建内联环境，至少5块千兆网卡，其中四块千兆网卡用来构建系统的INTERCONNECT，一块用来作为连接系统的PUBLIC网卡。当然如果有条件的话，内联可以用万兆网卡或者IB，效率会更高。MASTER的存储没有什么特殊要求。??????2，SEGMENT节点(分节点)需要32G内存。如果使用千兆网卡构建内联环境，至少4块千兆网卡，不需要外联网卡。数据存储可以使用PC SERVER内置硬盘，也可以使用外置存储阵列方式（取决于成本和性能的平衡），总数据量不超过可用存储的70%既可。?????? GP提供了一个叫做gpcheckperf的工具可以帮助你检测当前硬件配置的性能情况，并给出报告。为了获取准确的测试数据，建议多运行几次，取平均值。?????? ?总体而言，与专用设备和系统相比，构建GREENPLUM的生产环境的硬件成本是很低廉的。?2.操作系统的准备?????? 支持GREENPLUM运行的操作系统平台主要包括LINUX（REDHAT 5.4 or later/CENTOS 5.4 or later/SUSE 10.2 or later) 32bit/64bit，solaris x86 64bit，以及MAC OS 64bit。这里主要介绍LINUX平台的设置，其它平台大同小异。??? 首先在每台PC SERVER上安装LINUX操作系统，然后设置内核参数，这决定了GREENPLUM可以获取多少资源使用。官方文档给出的内核参数配置如下????编辑/etc/sysctl.conf文件??? net.ipv4.ip_forward = 0??? net.ipv4.conf.default.accept_source_route = 0??? kernel.sysrq = 1??? kernel.core_uses_pid = 1??? net.ipv4.tcp_syncookies = 1??? kernel.msgmnb = 65536??? kernel.msgmax = 65536??? kernel.sem = 250 64000 100 512??? kernel.shmmax = 500000000??? kernel.shmmni = 4096??? kernel.shmall = 4000000000??? kernel.sem = 250 64000 100 512??? net.ipv4.tcp_tw_recycle=1??? net.ipv4.tcp_max_syn_backlog=4096??? dev_max_backlog=10000??? vm.overcommit_memory=2??? net.ipv4.conf.all.arp_filter = 1??? 对于练习环境来说，这个配置是没有问题的。但是在生产环境中，整个系统中有大量SEGMENT实例和镜像实例时，这样的配置可能导致无法启动服务。所以，请加大kernel.sem = 250 64000 100 512中最后一位的配置，比如把512改成1024,2048这样的值。另外，可以加大共享内存相关的配置，比如kernel.shmmax和kernel.shmall。完成编辑之后，以root身份执行命令sysctl -p或者重启系统，使其配置生效。?????? 修改内核参数后，向/etc/security/limits.conf中添加如下配置??? * soft nofile 65536??? * hard nofile 65536??? * soft nproc 131072??? * hard nproc 131072?????? 由于数据仓库属于IO敏感性应用，为了提高系统效率，生产环境中，我们应该在LINUX内核上修改I