使用jar命令执行WordCount程序时,hadoop中的“没有这样的文件或目录”

时间:2018-03-12 18:06:14

标签: hadoop jar word-count

我是Hadoop的新手,正在尝试执行WordCount问题。

到目前为止我做过的事情 -

参考以下链接设置Hadoop单节点群集。 http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php

参考以下链接编写单词计数问题 https://kishorer.in/2014/10/22/running-a-wordcount-mapreduce-example-in-hadoop-2-4-1-single-node-cluster-in-ubuntu-14-04-64-bit/

问题是当我执行最后一行来运行程序时 -

hadoop jar wordcount.jar / usr / local / hadoop / input / usr / local / hadoop / output

以下是我得到的错误 -   enter image description here 该目录似乎存在 enter image description here 该文件也存在于包含内容的目录中   enter image description here

最后,在旁注中我还尝试了jar命令中的以下目录结构。 enter image description here

无济于事! :/

如果有人能指导我,我真的很感激!

此致 保罗·阿尔文

1 个答案:

答案 0 :(得分:1)

您的第一张图片使用的是本地Hadoop安装目录/ usr

中的输入

如果要在本地文件系统上使用该数据,可以指定file:///usr/...

否则,如果您正在运行伪分布式模式,则已设置HDFS,并且HDFS中不存在/usr,除非您在那里明确创建它。

基于堆栈跟踪,我认为错误来自/app/hadoop/暂存目录路径不存在,或者它的权限不允许当前用户针对该路径运行命令

建议:Hortonworks和Cloudera提供预先构建的VirtualBox图像和大量教程资源。大多数公司都会从其中一家供应商那里购买Hadoop,所以最好熟悉它,而不是在我看来必须自己从头开始安装Hadoop