输入路径不存在:file:/ D:/ pigsample_1749383998_1377684507424

时间:2013-08-28 10:39:37

标签: hadoop cygwin windows-7-x64 apache-pig

我正面临着一个严重的问题。 我正在使用最新版本的cygwin在windows7 / 64位机器上运行PIG 0.11。

我是一个博客,我想通过userName订购它,让同一个用户的所有用户活动一起为下一行处理提供信息。

我正在启动commandprompt - > cygwin.bat - >在cygwin控制台上转到D:/ - >猪并在grunt上键入以下脚本(本地模式)。 (注意我已正确设置PIG_HOME,PIG_CLASSPATH)。

脚本是:

USERACTIVITIES = LOAD '/D:/path/of/logs/useractivities' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',') AS (datetimeUnProcessed:chararray, username:chararray, request:chararray);
 USERACTIVITIES_ORDERED = ORDER USERACTIVITIES by username;
STORE USERACTIVITIES_ORDERED INTO '/D:/readyfornextinput/useractivities' USING org.apache.pig.piggybank.storage.CSVExcelStorage(',');

当我说明USERACTIVITIES_ORDERED时,我发现它很顺利。 但是当我存储/转储时,我面临着问题。

它失败的说: java.lang.RuntimeException:org.apache.hadoop.mapreduce.lib.input.InvalidInputException:输入路径不存在:file:/ D:/ pigsample_1749383998_1377684507424

当我尝试搜索此pigample_number文件时,我可以在以下位置找到: d:/ TMP // mapred /本地/ localRunner

我不确定它是怎么回事。 我不确定它是否与windows / cygwin有关,或者有人在Linux上看过这个问题。

作为参考,您可以在此处找到附加的堆栈跟踪:

  

2013-08-28 15:38:28,863 [Thread-46]警告   org.apache.hadoop.mapred.LocalJobRunner - job_local_0004   了java.lang.RuntimeException:   org.apache.hadoop.mapreduce.lib.input.InvalidInputException:输入   路径不存在:file:/ D:/ pigsample_1749383998_1377684507424            在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.partitioners.WeightedRangePartitioner.setConf(WeightedRangePartitioner.java:157)           at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)            在org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)           在org.apache.hadoop.mapred.MapTask $ NewOutputCollector。(MapTask.java:677)           在org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)            在org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)           在org.apache.hadoop.mapred.LocalJobRunner $ Job.run(LocalJobRunner.java:214)   引起:   org.apache.hadoop.mapreduce.lib.input.InvalidInputException:输入   路径不存在:file:/ D:/ pigsample_1288777582_1377684802262            at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:235)           在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigFileInputFormat.listStatus(PigFileInputFormat.java:37)            at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:252)           在org.apache.pig.impl.io.ReadToEndLoader.init(ReadToEndLoader.java:190)           在org.apache.pig.impl.io.ReadToEndLoader。(ReadToEndLoader.java:126)            在org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.partitioners.WeightedRangePartitioner.setConf(WeightedRangePartitioner.java:131)           ......还有6个

对此有任何帮助都很有用。

1 个答案:

答案 0 :(得分:0)

看起来这只能在cygwin环境中重现。 我已经记录了根本原因和解决方案here