我的Hortonworks HDFS位置中有一些数据文件。我的要求是使用Pig-MapReduce模式将HDFS数据转储到Pig Shell中。从HDFS加载文件数据后,当尝试使用DUMP命令将数据转储到Pig shell中时,map reduce作业被卡在0%处,并且长时间也没有完成该作业。 遵循以下给定步骤:
1)在mapreduce模式下启动Pig:
pig -x mapreduce
2)从HDFS目录将数据加载到Pig:
mapdata = load 'hdfs://ip-xxx-xx-xx-xx.us-east-2.compute.internal:8020/user/abc/datadir1' as (a:map[chararray]);
3)打印数据:
dump mapdata;
执行第3步后,在shell上获得以下消息:
2018-10-09 07:25:51,099 [main]信息org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-完成0% 2018-10-09 07:25:51,099 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-正在运行的工作是[job_1539066382468_0147]