Question

当我执行MapReduce program in Eclipse using Hadoop时，我收到以下错误它必须在路径上有所改变，但我无法弄明白。
有什么想法吗？

16:35:39 INFO mapred.JobClient: Task Id : attempt_201001151609_0001_m_000006_0, Status : FAILED
java.io.FileNotFoundException: File C:/tmp/hadoop-Shwe/mapred/local/taskTracker/jobcache/job_201001151609_0001/attempt_201001151609_0001_m_000006_0/work/tmp does not exist.
    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
    at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)
    at org.apache.hadoop.mapred.Child.main(Child.java:155)

Answer 1

考虑到错误消息（[...]6_0/work/tmp does not exist），首先要检查的问题是：

c:\tmp
this plugin正确运行的初始化步骤：请参阅this thread

提取物：

如果您正确安装它，您应该能够启动MapReduce透视图和Map / Reduce视图。两者分别位于Window > Open Perspective和Show View之下。


点击Map/Reduce视图右上角的蓝色大象。它会打开一个配置窗口。

输入位置名称的任何名称。我刚把它叫做localhost集群。

设置Map / Reduce Master和DFS Master的端口号。请分别查看您的conf / hadoop - site.xml中的“mapred.job.tracker”和“dfs.default.name”。如果不在该文件中，则可能在hadoop-default.xml或hadoop-env.xml。

点击“Advanced Parameters”标签，然后设置“mapred.job.tracker”参数。出于某种原因，当您在“常规”选项卡中更改它时，它不会自动更改。

用户名应该是拥有hadoop的人。对我来说，这只是我的登录，其他人为hadoop创建一个单独的“hadoop”用户。

如果您已正确完成所有操作，则应该可以单击左侧的三角形来跨越层次结构视图。

Answer 2

检查 core-site.xml 和 hdfs-site.xml 以查看其地址。它们都应该是hdfs：// localhost：[port]或file：///

Answer 3

通常，如果您使用cdh 5，cloudera quickstart VM，则分别为8021和8020，除非您执行其他配置。

在Eclipse中使用Hadoop MapReduce时出错

3 个答案: