我正面临着一个严重的问题。 我正在使用最新版本的cygwin在windows7 / 64位机器上运行PIG 0.11。
我是一个博客,我想通过userName订购它,让同一个用户的所有用户活动一起为下一行处理提供信息。
我正在启动commandprompt - > cygwin.bat - >在cygwin控制台上转到D:/ - >猪并在grunt上键入以下脚本(本地模式)。 (注意我已正确设置PIG_HOME,PIG_CLASSPATH)。
脚本是:
USERACTIVITIES = LOAD '/D:/path/of/logs/useractivities' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',') AS (datetimeUnProcessed:chararray, username:chararray, request:chararray);
USERACTIVITIES_ORDERED = ORDER USERACTIVITIES by username;
STORE USERACTIVITIES_ORDERED INTO '/D:/readyfornextinput/useractivities' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',');
当我说明USERACTIVITIES_ORDERED时,我发现它很顺利。 但是当我存储/转储时,我面临着问题。
它失败的说: java.lang.RuntimeException:org.apache.hadoop.mapreduce.lib.input.InvalidInputException:输入路径不存在:file:/ D:/ pigsample_1749383998_1377684507424
当我尝试搜索此pigample_number文件时,我可以在以下位置找到: d:/ TMP // mapred /本地/ localRunner
我不确定它是怎么回事。 我不确定它是否与windows / cygwin有关,或者有人在Linux上看过这个问题。
作为参考,您可以在此处找到附加的堆栈跟踪:
2013-08-28 15:38:28,863 [Thread-46]警告 org.apache.hadoop.mapred.LocalJobRunner - job_local_0004 了java.lang.RuntimeException: org.apache.hadoop.mapreduce.lib.input.InvalidInputException:输入 路径不存在:file:/ D:/ pigsample_1749383998_1377684507424 在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.partitioners.WeightedRangePartitioner.setConf(WeightedRangePartitioner.java:157) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62) 在org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117) 在org.apache.hadoop.mapred.MapTask $ NewOutputCollector。(MapTask.java:677) 在org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756) 在org.apache.hadoop.mapred.MapTask.run(MapTask.java:370) 在org.apache.hadoop.mapred.LocalJobRunner $ Job.run(LocalJobRunner.java:214) 引起: org.apache.hadoop.mapreduce.lib.input.InvalidInputException:输入 路径不存在:file:/ D:/ pigsample_1288777582_1377684802262 at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:235) 在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigFileInputFormat.listStatus(PigFileInputFormat.java:37) at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:252) 在org.apache.pig.impl.io.ReadToEndLoader.init(ReadToEndLoader.java:190) 在org.apache.pig.impl.io.ReadToEndLoader。(ReadToEndLoader.java:126) 在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.partitioners.WeightedRangePartitioner.setConf(WeightedRangePartitioner.java:131) ......还有6个
对此有任何帮助都很有用。