07Hadoop集群伪分布式模式的实现详解.pdfVIP

Hadoop 集群伪分布式模式的实现详解 1、Hadoop 依赖软件 Hadoop 基于Java 语言开发，因此其运行严重依赖于JDK(Java Development Kit)，并且 Hadoop 的许多功能依赖于Java 6 及以后的版本才提供的特性。Hadoop 可以良好地运行于经 过测试的各JDK，如Sun JDK、OpenJDK、Oracle JRockit、IBM JDK 各自实现的某些版本。 但迄今为止，HotSpot JVM 仍是性能最好且与Hadoop 搭配运行最稳定的实现。 /hadoop/HadoopJavaVersions 页面给出了Hadoop 目前几大著名企 业实现的Hadoop 集群中所使用的JDK 版本，Hortonworks 已经为JDK 1.6.0_31 在 RHEL5/CentOS5、RHEL6/CentOS6、SLES11 运行Hadoop、HBase、Pig, Hive、HCatalog、Oozie、 Sqoop 等进行了认证。建议参考它们的测试结果进行选择。 在选择安装版本，Sun JDK 有几种不同格式的安装包，其使用及功能上并没有区别；但如果 在安装Hadoop 使用CDH 的RPM 格式的包的话，它们依赖于RPM 格式的JDK，不过，ASF 提供 的RPM 包并没有定义任何外在的依赖关系，因此，其可以使用基于任何方式安装配置的JDK， 但这也意味着得手动解决依赖关系。无论如何，一个生产环境的Hadoop 集群应该运行在64 位的操作系统上，JDK 等也要使用相应的64 位版本，否则，单JVM 进程将无法使用大于2GB 以上的内存。 除了JDK 之外，Hadoop 集群的正常运行还可能根据实际环境依赖于其它的一些软件以实现 集群的维护、监控及管理等。这些软件诸如cron、ntp、ssh、postfix/sendmail 及rsync 等。cron 通常用于在Hadoop 集群中过期的临时文件、归档压缩日志等定期任务的执行；ntp 则用于为集群的各节点实现时间同步；ssh 并非是必须的，但在MapReduce 或HDFS 的master 节点上一次性启动整个集群时通过要用到ssh 服务；postfix/sendmail 则用于将cron 的执 行结果通知给管理员；rsync 可用于实现配置文件的同步等。 2、Hadoop 的运行环境 2.1 各节点的主机名 Hadoop 在基于主机引用各节点时会有一些独特的方式，这已经让很多的Hadoop 管理员为此 头疼不已。实际使用中，应该避免集群中的各节点尤其是从节点(DataNode和TaskTracker) 使用localhost 作为本机的主机名称，除非是在伪分布式环境中。 2.2 用户、组及目录 前文已经说明，一个完整的Hadoop 集群包含了MapReduce 集群和HDFS 集群，MapReduce 集 群包含JobTracker 和TaskTracker 两类进程和许多按需启动的任务类进程(如map 任务)， HDFS 集群包含NameNode、SecondaryNameNode 和DataNode 三类进程。安全起见，应该以普 通用户的身份启动这些进程，并且MapReduce 集群的进程与HDFS 集群的进程还应该使用不 同的用户，比如分别使用mapred 和hdfs 用户。使用CDH 的RPM 包安装Hadoop 时，这些用 户都会被自动创建，如果基于tar 包安装，则需要手动创建这些用户。 Hadoop 的每一个进程都会访问系统的各类资源，然而，Linux 系统通过PAM 限定了用户的资 源访问能力，如可打开的文件数(默认为1024 个)及可运行的进程数等，这此默认配置在一 个略具规模的Hadoop 集群中均会带来问题。因此，需要为mapred 和hdfs 用户修改这些限 制，这可以在/etc/security/limits.conf 中进行。修改结果如下。 # Allow users hdfs, mapred, and hbase to open 32k files. The # type - means both soft and hard limits. # # See man 5 limits.conf for details. # user type resource value hdfs - nofile 32768 mapred - nofile 32768 3、Hadoop 的分布式模型 Hadoop 通常有三种运行模式：本地(独立)模式、伪分布式(Pseud