Hadoop安装部署 (3)
share
digg
by
志远 (1)
on
淘宝数据仓库团队 (7)
3 weeks, 5 days
ago
permalink
1. Hadoop安装部署 1.1. 机器说明 总共4台机器:test161.sqa,test162.sqa, test163.sqa,test164.sqa IP地址分别为:192.168.207.161 …… 192.168.207.164 操作系统:Redhat Linux root用户密码:hello123 test161.sqa(192.168.207.161)作为namenode(master),其他的作为datanode(slave) 1.2. 用机器名ping通机器 用root用户登录。 在namenode和各个slave上用机器名互相ping,ping不通的话,修改/etc/hosts文件,加入如下内容: 192.168.207.161 test161.sqa 192.168.207.162 test162.sqa 192.168.207.163 test163.sqa 192.168.207.164 test164.sqa 这样应该就可以用机器名ping通了。 其他datanode机器只要保证和namenode能ping通就可以了 1.3. 新建系统hadoop用户 Hadoop要求所有机器上hadoop的部署目录结构要相同,并且都有一个相同的用户名的帐户,所以需要每台机器见一个同名的用户。 在这4台机器上建hadoop用户,密码:hadoop,默认路径/home/hadoop/。 1.4. SSH设置 Hadoop需要namenode到datanode的无密码SSH,所以需要设置namenode到其他3台datanode的无密码公钥认证方式的SSH。 首先用hadoop用户登录每台机器(包括namenode),在/home/hadoop/目录下建立.ssh目录,并将目录权设为:drwxr-xr-x,设置命令: chmod 755 .ssh 在namenode执行入下图命令(用新建的hadoop用户登录): 输入ssh-keygen -t rsa后, Enter file in which to save the key (/home/hadoop/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: 这三个项目都直接回车。 然后将id_rsa.pub的内容复制到每个机器(也包括本机)的/home/hadoop/.ssh/authorized_keys文件中, 如果机器上已经有authorized_keys这个文件了,就在文件末尾加上id_rsa.pub中的内容, 如果没有authorized_keys这个文件,直接cp或者scp就好了, 下面的操作假设各个机器上都没有authorized_keys文件。 具体命令: 在namenode执行(用新建的hadoop用户登录): cp /home/hadoop/.ssh/id_rsa.pub /home/hadoop/.ssh/authorized_keys scp authorized_keys test162.sqa:/home/hadoop/.ssh/ 此处的scp就是通过ssh进行远程copy,此处需要输入远程主机的密码,即test162.sqa机器上hadoop帐户的密码(hadoop), ...