我的输入文件以hdfs
中的以下目录格式存储/data/drain*/*
/data/freight*/*
每个文件夹中有近10个json文件。
编写了一个猪脚本来读取输入文件。但脚本只从/ data / drain * / *而不是货运目录中读取文件。
在猪脚本执行后显示以下日志
Successfully read 39 records from /data/drain*/*
Successfully read 0 records from /data/freight*/*
在pig脚本中加载语句:
DrainData = load '/data/drain*/*' USING com.twitter.elephantbird.pig.load.JsonLoader();
FreightData = load '/data/freight*/*' USING com.twitter.elephantbird.pig.load.JsonLoader();
这是Hdfs中的目录结构
/data/drain/
/data/freight/
Json文件存在于此目录(示例文件)
中/data/drain/50499.json
/data/freight/61501.json
我无法弄清楚为什么它无法从货运目录中读取。
感谢任何指导。提前谢谢。
PS:Hadoop版本 - 2.4.0,Apache Pig版本 - 0.12.0