Pig无法读取存储在HDFS中的输入文件

时间:2015-01-27 11:39:58

标签: shell hadoop apache-pig hdfs

我的输入文件以hdfs

中的以下目录格式存储
/data/drain*/*
/data/freight*/*

每个文件夹中有近10个json文件。

编写了一个猪脚本来读取输入文件。但脚本只从/ data / drain * / *而不是货运目录中读取文件。

在猪脚本执行后显示以下日志

Successfully read 39 records from /data/drain*/*
Successfully read 0 records from /data/freight*/*

在pig脚本中加载语句:

DrainData = load '/data/drain*/*' USING com.twitter.elephantbird.pig.load.JsonLoader();
FreightData = load '/data/freight*/*' USING com.twitter.elephantbird.pig.load.JsonLoader();

这是Hdfs中的目录结构

/data/drain/
/data/freight/

Json文件存在于此目录(示例文件)

/data/drain/50499.json
/data/freight/61501.json

我无法弄清楚为什么它无法从货运目录中读取。

感谢任何指导。提前谢谢。

PS:Hadoop版本 - 2.4.0,Apache Pig版本 - 0.12.0

0 个答案:

没有答案