我是Hadoop的新手,正在尝试执行WordCount问题。
到目前为止我做过的事情 -
参考以下链接设置Hadoop单节点群集。 http://www.bogotobogo.com/Hadoop/BigData_hadoop_Install_on_ubuntu_single_node_cluster.php
参考以下链接编写单词计数问题 https://kishorer.in/2014/10/22/running-a-wordcount-mapreduce-example-in-hadoop-2-4-1-single-node-cluster-in-ubuntu-14-04-64-bit/
问题是当我执行最后一行来运行程序时 -
hadoop jar wordcount.jar / usr / local / hadoop / input / usr / local / hadoop / output
以下是我得到的错误 - 该目录似乎存在 该文件也存在于包含内容的目录中
无济于事! :/
如果有人能指导我,我真的很感激!
此致 保罗·阿尔文
答案 0 :(得分:1)
您的第一张图片使用的是本地Hadoop安装目录/ usr
中的输入如果要在本地文件系统上使用该数据,可以指定file:///usr/...
否则,如果您正在运行伪分布式模式,则已设置HDFS,并且HDFS中不存在/usr
,除非您在那里明确创建它。
基于堆栈跟踪,我认为错误来自/app/hadoop/
暂存目录路径不存在,或者它的权限不允许当前用户针对该路径运行命令
建议:Hortonworks和Cloudera提供预先构建的VirtualBox图像和大量教程资源。大多数公司都会从其中一家供应商那里购买Hadoop,所以最好熟悉它,而不是在我看来必须自己从头开始安装Hadoop