大数据运维技术第4章 Hadoop文件参数配置课件.pptxVIP

Hadoop配置文件说明;4.1.1 Hadoop环境配置;4.1.2 Hadoop守护进程环境配置;4.1.3 Hadoop配置参数格式;4.1.3 Hadoop配置参数格式;4.1.4 获得Hadoop集群全部配置信息;4.2 在Master节点上安装Hadoop;（1）解压缩hadoop-2.7.1.tar.gz安装包到/usr目录下 [root@master ~]# tar zxvf hadoop-2.7.1.tar.gz -C /usr/local/src/? （2）将hadoop-2.7.1文件夹重命名为hadoop [root@master ~]# mv /usr/local/src?/hadoop-2.7.1 /usr/local/src/hadoop （3）配置Hadoop环境变量 [root@master ~]# cd [root@master ~]# vi /etc/profile #在文件末尾添加以下配置信息 # set hadoop environment export HADOOP_HOME=/usr/local/src/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH （4）使配置的Hadoop的环境变量生效 [root@master ~]#source /etc/profile （5）执行以下命令修改hadoop-env.sh配置文件。 [root@master ~]# cd /usr/local/src/hadoop/etc/hadoop/ [root@master hadoop]# vi hadoop-env.sh #在文件末尾添加;4.3 配置hdfs-site.xml文件参数;执行以下命令修改hdfs-site.xml配置文件。 [root@master hadoop]# vi hdfs-site.xml #在文件中configuration和/configuration一对标签之间追加以下配置信息 configuration property namedfs.namenode.name.dir/name valuefile:/usr/local/src/hadoop/dfs/name/value /property property namedfs.datanode.data.dir/name valuefile:/usr/local/src/hadoop/dfs/data/value /property property namedfs.replication/name value3/value /property /configuration 对于Hadoop的分布式文件系统HDFS而言，一般都是采用冗余存储，冗余因子通常为3，也就是说，一份数据保存三份副本。所以，修改dfs.replication的配置，使HDFS文件的备份副本数量设定为3个。;4.3配置hdfs-site.xml文件参数;4.4 配置core-site.xml文件参数;执行以下配置core-site.xml文件参数命令修改core-site.xml配置文件。 [root@master hadoop]# vi core-site.xml #在文件中configuration和/configuration一对标签之间追加以下配置信息 configuration property namefs.defaultFS/name valuehdfs://192.168.150.81:9000/value /property property nameio.file.buffer.size/name value131072/value /property property namehadoop.tmp.dir/name valuefile:/usr/local/src/hadoop/tmp/value /property /configuration ;4.4 配置core-site.xml文件