大数据平台部署文档.pdf

大数据平台搭建 一．Linux 环境准备 1)格式化磁盘 mkfs.ext4 /dev/dm-0 mkdir /data mount /dev/dm-0 /data 系统重启需要手动挂载 把 mount /dev/dm-0 /data 的命令放到/etc/rc.d/rc.local 重启自动挂载。 df -h 查看挂载点 2)网卡绑定(当服务器有多块网卡需要网卡绑定) • 配置绑定网卡 [root@hadoop001 network-scripts]# vi /etc/sysconfig/network-scripts/ifcfg-bond0 DEVICE=bond0 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static IPADDR= NETMASK= GATEWAY=54 NDS1= DNS2= USERCTL=no • 各网卡设置 [root@hadoop001 network-scripts]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 TYPE=Ethernet BOOTPROTO=none ONBOOT=yes MASTER=bond0 SLAVE=yes • 配置文件添加vi /etc/modprobe.d/dist.conf 末尾追加 alias bond0 bonding options bond0 miimon=100 mode=0#每 100ms 检测一次链路 mode=0 网卡冗余机制 • 设置服务 service NetworkManager stop chkconfig NetworkManager off service network restart chkconfig network on • 测试绑定网卡 modprobe bond0#如果报错就配置错误 查看 bond0 网卡信息 3)添加用hadoop useradd hadoop passwd hadoop #hadoop 4)修改主机名文件 vi /etc/sysconfig/network#修改该文件 Hostname=hadoop001 5 ）修改本地hosts 文件 hadoop001 hadoop002 hadoop003 0 hadoop004 1 hadoop005 2 hadoop006 6 ）关闭防火墙（root 用户下操作） service iptables status 查看防火墙状态 service iptables stop 临时关闭防火墙 chkconfig iptables off 永久关闭防火墙 7）修改selinux vi /etc/selinux/config selinux = disabled 8 ）ssh 互信（hadoop 用户下） 生成密钥对 ssh-keygen #一路回车就行 ssh-copy-id hadoop001 分发公钥 ssh-copy-id hadoop002 ssh-copy-id hadoop003 测试连接获取主机名文件； cd /home/hadoop/.ssh 将私钥和 hosts 文件分发各个节点确保完全互信 scp id_rsa known_hosts hadoop@hadoop002:/home/hadoop/.ssh scp id_rsa known_hosts hadoop@hadoop003:/home/hadoop/.ssh …… 9)配置时间同步服务 设置 NTP 服务自动同步硬件时间 vi /etc/sysconfig/ntpd SYNC_HWCLOCK=yes Server 端 ： restrict mask nomodify notrap server fudge stratum 8 client 端 ： restrict mask nomodify notrap server servic