Question

我在Apache Pig中执行脚本时遇到问题。我有3个文件，即movies.csv，ratings.csv，tags.csv。首先，我想加载“movies.csv”，然后加载“ratings.csv”并加入两个表。但我在加载文件时遇到错误。我给出的代码如下，

register 'piggybank-0.15.0.jar'
DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
part1 = LOAD '/home/cloudera/ml-20m/movies' as (movieId: chararray, title: chararray, genre: chararray);
cat part1;

当我发出“cat”命令时，我收到错误，如

猪堆痕迹

ERROR 2997: Encountered IOException. Directory part1 does not exist.

java.io.IOException: Directory part1 does not exist.
    at org.apache.pig.tools.grunt.GruntParser.processCat(GruntParser.java:677)
    at org.apache.pig.tools.pigscript.parser.PigScriptParser.parse(PigScriptParser.java:233)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:198)
    at org.apache.pig.tools.grunt.GruntParser.parseStopOnError(GruntParser.java:173)
    at org.apache.pig.tools.grunt.Grunt.run(Grunt.java:69)
    at org.apache.pig.Main.run(Main.java:547)
    at org.apache.pig.Main.main(Main.java:158)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)

但是我在指定位置有文件。我不知道为什么猪不能识别输入文件。我已经尝试将输入文件放在hdfs中并加载文件。但错误是相同的。谁能帮帮我吗。提前致谢。

Answer 1

part1不是文件而是关系。当你在Pig中使用LOAD命令时，你正在指示将文件的内容加载到关系中。你不能在关系上使用cat，因为cat的最常见用途是阅读文件的内容。要显示第1部分的内容，请使用

DUMP part1;

否则，如果你坚持使用cat，那么请指定文件的完整路径

cat /home/cloudera/ml-20m/movies;

错误2997：遇到IOException。目录第1部分不存在

猪堆痕迹

1 个答案: