hadoop分布式搭建

hadoop分布式搭建

1、新建三台机器，分别为：

hadoop分布式搭建至少需要三台机器：

masterextension1extension2

本文利用在VMware Workstation下安装Linux centOS，安装教程请看：

​​VMware Workstation下安装Linux​​

2、编辑ip

用ifconfig查看本机ip:

[root@master ~]# ifconfigeno16777736: flags=4163 mtu 1500 inet 192.168.204.128 netmask 255.255.255.0 broadcast 192.168.204.255 inet6 fe80::20c:29ff:fe43:53ea prefixlen 64 scopeid 0x20 ether 00:0c:29:43:53:ea txqueuelen 1000 (Ethernet) RX packets 86219 bytes 123262936 (117.5 MiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 22010 bytes 1501252 (1.4 MiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0lo: flags=73 mtu 65536 inet 127.0.0.1 netmask 255.0.0.0 inet6 ::1 prefixlen 128 scopeid 0x10 loop txqueuelen 0 (Local Loopback) RX packets 188 bytes 33400 (32.6 KiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 188 bytes 33400 (32.6 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0virbr0: flags=4099 mtu 1500 inet 192.168.122.1 netmask 255.255.255.0 broadcast 192.168.122.255 ether 00:00:00:00:00:00 txqueuelen 0 (Ethernet) RX packets 0 bytes 0 (0.0 B) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 0 bytes 0 (0.0 B) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

​​extension1​​​ 和 ​​extension2​​ 同样如此，可以得到三台机器的ip分别为：

master:192.168.204.128 extension1:192.168.204.129 extension2:192.168.204.130

切换到/etc/hosts修改配置，隔一行在后面加上：

192.168.204.128 master192.168.204.129 extension1192.168.204.130 extension2

3、创建SSH密匙

创建密匙命令：

[master@master root]$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

得到样式如下：

​​extension1​​​ 和 ​​extension2​​ 同样操作

切换到密匙文件夹：/home/master/.ssh/

4、复制密匙成新文件

输入命令：

[master@master .ssh]$ cat id_dsa.pub >> authorized_keys

会在当前生成新的文件：

​​authorized_keys​​

​​extension1​​​ 和 ​​extension2​​ 同样操作

5、测试密匙

测试密匙能否使用：

ssh localhostyes输入密码exit

​​extension1​​​ 和 ​​extension2​​ 同样操作

6、extension复制master密匙

extension复制master密匙达到免密码登陆，在三台机器里面都输入下面命令：

[extension1@extension1 .ssh]$ scp master@master:~/.ssh/id_dsa.pub ./master_dsa.pubcat master_dsa.pub >> authorized_keyschmod 600 authorized_keys

​​extension1​​​ 和 ​​extension2​​ 同样操作

7、实现免密匙登陆

master能对master、extension1、extension2免密匙登陆:

ssh master@masterssh extension1@extension1ssh extension2@extension2

​​extension1​​​ 和 ​​extension2​​ 同样操作

8、-解压安装包

查看电脑位数： ​​getconf LONG_BIT​​

java地址（jdk1.7.0_09x64.tar.gz）：

root新建文件夹： mkdir /usr/program放入安装包解压

解压命令： tar -zxvf hadoop-0.20.2.tar.gz tar xvf jdk1.7.0_09x64.tar.gz

​​extension1​​​ 和 ​​extension2​​ 同样操作

9、java环境配置

打开 ​​/etc/profile​​ 配置文件，在最末尾加入：

# set java environment exportJAVA_HOME=/usr/program/jdk1.7.0_09x64 exportJRE_HOME=/usr/program/jdk1.7.0_09x64/jre export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export PATH=/usr/program/jdk1.7.0_09x64/bin

保存退出后，跟新配置文件，让配置文件生效：

source /etc/profile

查看环境是否配置成功：

java -version

​​extension1​​​ 和 ​​extension2​​ 同样操作

10、hadoop环境配置

创建一个文件夹：

mkdir /usr/program/hadoop-0.20.2/hadooptmp

进入文件夹：

/usr/program/hadoop-0.20.2/conf/

hadoop-env.sh:

export JAVA_HOME=/usr/program/jdk1.7.0_09x64

core-site.xml:

打开文件：

vim core-site.xml

里面的代码改成：

fs.default.name hdfs://master:9000/ hadoop.tmp.dir/usr/program/hadoop-0.20.2/hadooptmp

hdfs-site.xml:

打开文件：

vim hdfs-site.xml

写入以下代码：

dfs.replication 2 dfs.permissionsfalse

mapred-site.xml:

打开文件：

vim mapred-site.xml

写入以下代码：

mapred.job.tracker master:9001

​​extension1​​​ 和 ​​extension2​​ 同样操作

11、环境配置

打开文件：

/etc/profile

在最后面加入：

#set hadoop export HADOOP_HOME=/usr/program/hadoop-0.20.2 export PATH=$HADOOP_HOME/bin:$PATH

使配置文件生效：

​​source /etc/profile​​

12、启动hadoop

进入文件夹：

​​/usr/program/hadoop-0.20.2/bin​​

格式化namenode：

hadoop namenode -format

打开hadoop：

start-all.sh

输入 ​​jps​​ ：

但是，如果输入口输入 ​​jps​​ 出现：

bash: jps: 未找到命令...

方法一：

查看java目录：

which java

删除这个指引：

rm /bin/java

建立新的指引：

ln -s /usr/program/jdk1.7.0_25/bin/java /bin/java

方法二：

经过排查发现是：

​​jps​​​ 命令是在java解压包中的 ​​/bin/​​ 文件夹里面，是一个可执行文件，但是可以用另一个方法来看是否完成启动：

stop-all.sh

但是用另一个方法查看也行，浏览器输入：

192.168.204.128:50030

浏览器输入：

192.168.204.128:50070

该完成的时候还是会完成的，切记java-的版本-为：

jdk1.8.0_101jdk1.7.0_09jdk1.6.0_13jdk1.7.0_21

oracle地址：

-qa | grep jdk

卸载相应的包：

yum -y remove java-1.8.0-openjdk-headless.x86_64

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。