多节点集群上Hadoop中运行字数统计示例的例外情况

时间:2012-04-21 10:09:32

标签: hadoop mapreduce

我按照链接为here

的教程

我正确配置了所有步骤。但是在步骤8中,使用字数统计示例MapReduce作业 当我执行命令

时抛出异常
./bin/hadoop jar /home/ila/hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out

我该如何解决这个问题。例外情况如下: -

  hduser@ila:/usr/local/hadoop-0.22.0/bin$ ./hadoop jar /home/ila/hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out
    Exception in thread "main" java.io.IOException: Error opening job jar: /home/ila/hadoop-0.20.1-examples.jar
    at org.apache.hadoop.util.RunJar.main(RunJar.java:130)
    Caused by: java.util.zip.ZipException: error in opening zip file
    at java.util.zip.ZipFile.open(Native Method)
    at java.util.zip.ZipFile.(ZipFile.java:114)
    at java.util.jar.JarFile.(JarFile.java:133)
    at java.util.jar.JarFile.(JarFile.java:70)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:128)

提前感谢... [:)] [:]]

2 个答案:

答案 0 :(得分:1)

我猜你的主目录(hadoop-0.20.1-examples.jar)中没有/home/ila个文件?

可能修改如下(基于你的hadoop命令的相对路径):

./bin/hadoop hadoop-0.20.1-examples.jar wordcount /user/hduser/gutenberg /user/hduser/gutenberg-out

虽然我从您提供的链接中看到,但系统会提示您下载示例jar - 您在哪里下载此文件?这应该是您提供的路径

答案 1 :(得分:1)

错误是因为命令(/home/ila/hadoop-0.20.1-examples.jar)中引用的jar文件不存在。很明显,您使用的是hadoop-0.22.0,并且不会随hadoop-0.20.1-examples.jar一起发货。

尝试在hadoop安装目录中找到hadoop-*-examples jar并在命令中使用它。那应该解决这个问题。通常,它将命名为hadoop-0.22.0-examples.jar,因为jar命名与hadoop版本相关。