Question

我在$ HADOOP_HOME有一个现有的Hadoop客户端（hadoop-0.20.2）。使用此版本的Hadoop，所有客户端配置文件都放在以下目录中：$ HADOOP_HOME / conf

为了让Pig工作，我设置了$ PIG_CLASSPATH = $ HADOOP_HOME / conf。然后我可以简单地从它的主目录运行Pig而没有问题。

我尝试设置一个新的Hadoop客户端（hadoop-2.5.0），将$ HADOOP_HOME设置为指向此目录。对于此版本的Hadoop，我已将客户端配置放在$ HADOOP_HOME / etc / hadoop

然后我设置$ PIG_CLASSPATH = $ HADOOP_HOME / etc / hadoop。但是，当我尝试运行猪时，我得到以下错误：

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/mapred/JobConf
    at org.apache.pig.Main.run(Main.java:587)
    at org.apache.pig.Main.main(Main.java:111)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf
    at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    ... 7 more

是否需要将其他位置添加到PIG_CLASSPATH才能启动并运行？

Answer 1

管理找到原因。我正在将配置复制到已发送给我的$ HADOOP_HOME / etc / hadoop。在hadoop-env.sh里面有一条线

 export HADOOP_MAPRED_HOME=....

正在将相关jar的位置更新为不存在的位置。

使用Hadoop-2.5.0配置Pig-0.12.1

1 个答案: