Hadoop平台搭建步骤.doc

一、虚拟机及系统安装 1. 下载vmware，并成功安装； 2. 在vmware中安装Linux系统； 二、在虚拟机中配置JAVA环境 1.安装java虚拟机（jdk-6u31-linux-i586.bin）； 2.配置环境变量 (1) vi /etc/profile (编辑文件) (2) 添加 (3) source /etc/profile (注入环境变量) 注：使用ROOT用户 三、修改hosts vim /etc/hosts 修改为： 注：使用ROOT用户 四、修改hostname vim /etc/sysconfig/network 修改为： NETWORKING=yes HOSTNAME=hadoop-1 临时修改hostname，，ssh-keygen （2）cat .ssh/id_rsa.pub .ssh/authorized_keys （3）chmod 700 .ssh （4）chmod 600 .ssh/authorized_keys （5）ssh hadoop-1 成功后，应为： SCP将免登陆copy至其他机器： for?i?in?$(cat?iplist)?? do?? ????echo?$i scp –r /home/hadoop/.ssh $i:/home/hadoop/ done?? 六、压缩包解压 1. 解压hadoop-0.20.2-cdh3u3.tar.gz； 2. 解压hbase-0.90.4-cdh3u3.tar.gz； 3. 解压hive-0.7.1-cdh3u3.tar.gz； 4. 解压zookeeper-3.3.4-cdh3u3.tar.gz； 5. 解压sqoop-1.3.0-cdh3u3.tar.gz； 6. 解压mahout-0.5-cdh3u3.tar.gz；（数据挖掘算法专用） 注：tar –xvf xxxx.tar.gz 七、修改hadoop配置文件 （1）进入到 %HADOOP_HOME%/conf （2）修改core-site.xml 用于配置Common组件的属性?xml?version=1.0??? ?xml-stylesheet?type=text/xsl?href=configuration.xsl?? !--?Put?site-specific?property?overrides?in?this?file.?--?? configuration?? ????property?? ????????name/name?? ????????valuehdfs://hadoop-1:9000/value?? ????????descriptionHDFS的URI，文件系统://namenode标识:端口号/description?? ????/property?? property?? ???? namehadoop.tmp.dir/name?? ??????value/home/hadoop/tmp/value? ???? descriptionnamenode上本地的Hadoop临时文件夹/description????????? ????/property/configuration? 注：配置中用到了自己配的hostname； （3）修改hdfs-site.xml 文件用于配置HDFS属性?xml?version=1.0??? ?xml-stylesheet?type=text/xsl?href=configuration.xsl??? ?? !--?Put?site-specific?property?overrides?in?this?file.?--?? ?? configuration?? ????property??? ????????name.dir/name??? ????????value/home/hadoop/name/value??? ????????descriptionnamenode上存储hdfs名字空间元数据?/description??? ????/property??? ?? ????property??? ????????namedfs.data.dir/name??? ????????value//hadoop/data/value??? ????????descriptiondatanode上数据块的物理存储位置/description??? ????/property??? ?? ????property?? ????????namedfs.replication/name???? ????????value1/value?? ????????description副本个数，不配置默认是3,