Hadoop集群设置文档hadoop273.docx

Hadoop 集群设置文档 Hadoop 集群设置文档 ? ? Hadoop 集群安装 目的 先决条件 安装 安装 Hadoop 在非安全模式 配置 Hadoop Deamons 运行环境 配置 Hadoop Deamons 监控 NodeManagers 健康状况 Slaves 配置文件 Hadoop 机架感知 日志 Hadoop 常见操作 Hadoop 启动 Hadoop 停止 o Web 接口 Hadoop Hadoop 集群设置 目的 本文档描述如何安装和配置 Hadoop 集群从几个节点到几千个节点，要使用Hadoop，你可能首先想要在一台机器上安装 它。（详见单节点安装） 本文档没有覆盖高级主题，如安全和高可用。 先决条件 ?? ? ? 安装 Java.详见 Hadoop Wiki 说明的已知好用版本。 从 Apache 镜像网站下载一个稳定的Hadoop 版本 安装 安装一个 Hadoop 集群，通常包括在集群的所有机器上解压软件并安装，或通过适合您操作系统包管理系统进行安装。 把硬件分成不同的功能模块是非常重要的。 通常在集群里面，一台机器被指定为 NameNode，另一台机器作为ResourceManager，他们两个是主服务节点，其他服务 （如：Web App Proxy 服务和 MapReduce Job History 服务）经常运行在专用硬件或者共享硬件之上，具体因负载而定。 集群里其他的机器作为 DataNode 和NodeManager，这些是从服务节点。 配置 Hadoop 在非安全模式 Hadoop 的Java 配置被分为两类重要配置文件： Hadoop 的Java 配置被分为两类重要配置文件： ?? ? ? 默认配置 core-default.xml, hdfs-default.xml, yarn-default.xml 特定配置 etc/hadoop/core-site.xml, etc/hadoop/mapred-site.xml . etc/hadoop/hdfs-site.xml, 和 mapred-default.xml etc/hadoop/yarn-site.xml 和 此外，你可以通过 etc/hadoop/hadoop-env.sh 和 etc/hadoop/yarn-env.sh 配置文件，设置特定值来控制Hadoop 的 bin/分发目录， 要配置 Hadoop 集群，首先你要配置Hadoop deamons 执行所需的环境参数。 HDFS deamons 包括NameNode，SecondaryNameNode 和 DataNode，YARN deamons 包括 ResourceManager，NodeManager 和 WebAppProxy。如果使用 MapReduce，还需要运行MapReduce Job History Server。在大型集群环境，这些组件都是运行在独立的机器上。 配置 Hadoop Deamons 环境变量 管理员首先要使用 etc/hadoop/hadoop-env.sh 和 做 Hadoop deamons 程序运行环境的定制工作。 etc/hadoop/mapred-env.sh 和 etc/hadoop/yarn-env.sh 脚本来 至少，你必须修改 JAVA_HOME，并确保已经在所有远端节点上配置正确。 管理员可以根据下面表中的选项单独配置每个模块的参数。 NameNode NameNode HADOOP_NAMENODE_OPTS DataNode HADOOP_DATANODE_OPTS Secondary NameNode HADOOP_SECONDARYNAMENODE_OPTS ResourceManager YARN_RESOURCEMANAGER_OPTS NodeManager YARN_NODEMANAGER_OPTS WebAppProxy YARN_PROXYSERVER_OPTS Map Reduce Job History Server HADOOP_JOB_HISTORYSERVER_OPTS 例如，配置 例如，配置 NameNode 使用ParallelGC，下面的语句应该添加到 hadoop-env.sh 里面： export HADOOP_NAMENODE_OPTS=-XX:+UseParallelGC 可以查看 etc/hadoop/hadoop-env.sh 其它的例子 其它你需要定制的有用配置参数包括： ? ? ? HADOOP_PID_DIR- Hadoop deamons 的进程 ID 文件存放目录 HADOOP_LOG_DIR - Hadoop deamons 的日志文件存放目