Apache Pig,程序运行问题

时间:2011-12-26 12:02:39

标签: java hadoop apache-pig

REGISTER /home/hadoop/pigg/trunk/contrib/piggybank/java/piggybank.jar;

-- Use the PigStorage function to load the excite log file into the raw bag as an array of records.
-- Input: (user,time,query) 
A = LOAD 'hadoop-test-data.csv' USING PigStorage(',') AS (user: chararray, site: chararray, view: int, click: int);

B = FOREACH A GENERATE org.apache.pig.piggybank.evaluation.string.UPPER(user);
-- Use the PigStorage function to store the results. 
STORE B INTO 'test-pig-result' USING PigStorage();

这是我的代码,我只是将我的用户名转换为大写字母。我已将此代码存储在pig根文件夹的test.pig中。

我正在运行此代码,

java -cp $PIGGDIR/trunk/contrib/piggybank/java/piggybank.jar:$HADOOP_HOME/conf org.apache.pig.piggybank test.pig

但它继续抛出以下错误,

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/pig/piggybank/Main
    Caused by: java.lang.ClassNotFoundException: org.apache.pig.piggybank.Main
            at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
            at java.security.AccessController.doPrivileged(Native Method)
            at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
            at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
            at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
            at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
    Could not find the main class: org.apache.pig.piggybank.Main.  Program will exit.

但是如果我在grunt上运行相同的程序,那么它会给我正确的输出。 我已经尝试了 java -cp 的第二个最后一个参数的所有可能的参数。

我还需要一个例子,其中使用 CSVLoader 类。

1 个答案:

答案 0 :(得分:3)

如果您想在本地运行pig,则应运行pig.jar而不是piggybank.jar piggybank.jar将通过脚本

中的REGISTER命令包含在脚本中