5.3实训任务 Mapreduce API-WordCount 实现

5.3实训任务 Mapreduce API-WordCount 实现

1、创建HDFS目录

[先进入到 /home/bigdata/Opt/hadoop-2.10.1/sbin 目录]

hadoop fs -mkdir /input

【注意：hadoop 命令能运行的前提是hadoop服务已启动，否者会报如下错误：】

mkdir: No Route to Host from localhost/127.0.0.1 to 192.168.232.135:9000 failed on socket timeout exception: java-.NoRouteToHostException: No route to host; For more details see: 参考 三、第9和10点 ​​3.4实训任务 Hadoop环境搭建与安装_懒笑翻的博客-xshell安装hadoop环境​​

2、新建 a1.txt 、a2.txt 、a3.txt  ，并输入对应数据，命令如下：

vim a1.txtvim a2.txtvim a3.txt

输入命令后，按 i 进入输入模式，输入完内容后，按esc，再输入:wq ，回车 ，退出并保存

3、上传本地云主机上的文件到HDFS的input目录上，命令行如下：

hadoop fs -put a*.txt /input

4、运行jar包，可以在windows中生成jar包，或使用Hadoop自带的jar包。

使用Hadoop自带的jar包，

命令如下：

hadoop jar /home/bigdata/Opt/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount /home/bigdata/input /home/bigdata/output

5、查看结果

hadoop fs -ls /home/bigdata/output

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。