Question

我按照这个说明运行hadoop：

http://wiki.apache.org/hadoop/Running_Hadoop_On_OS_X_10.5_64-bit_(Single-Node_Cluster)

但是，我无法使用此命令：

hadoop-*/bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

我得到的只是：

Exception in thread "main" java.io.IOException: Error opening job jar: /Users/hadoop/hadoop-1.0.1/hadoop-examples-1.0.1.jargrep
    at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.util.zip.ZipException: error in opening zip file
    at java.util.zip.ZipFile.open(Native Method)
    at java.util.zip.ZipFile.<init>(ZipFile.java:127)
    at java.util.jar.JarFile.<init>(JarFile.java:135)
    at java.util.jar.JarFile.<init>(JarFile.java:72)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:88)

我将此添加到我的hadoop-env.sh：

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

但仍然是同样的错误。任何线索的人？

Answer 1

运行以下命令时：

hadoop- / bin / hadoop jar hadoop - -examples.jar grep input output'dfs [a-z。] +'

grep是hadoop程序，是示例的一部分
input是源数据所在的文件夹，希望您已在HDFS创建它
output是将作为结果创建的文件夹。
'dfs [a = -z。] +'是与grep程序一起使用的常规选项

因为输出是“Grep .......”在我看来，当Hadoop命令运行时，实际的示例应用程序类不可用或缺少某些信息..您需要首先检查它如果适用于您的输入数据，请查找正则表达式。

Answer 2

我知道这已经过时了，但是如果其他人遇到同样的问题并且看到了这个问题，我想提出我要做的就是解决这个问题，因为它非常简单。

在示例的说明中，它看起来像是一个拼写错误。如果您查看Hadoop分发目录，您会注意到被引用的示例文件名为hadoop-examples-1.0.4.jar，或者您正在使用的任何版本。

所以而不是：

hadoop-*/bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

尝试：

bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

Hadoop工作不起作用

2 个答案: