在mapreduce模式下的Pig滞留在Hortonworks HDP中的转储HDFS数据上

时间:2018-10-10 06:41:19

标签: hadoop apache-pig yarn

我的Hortonworks HDFS位置中有一些数据文件。我的要求是使用Pig-MapReduce模式将HDFS数据转储到Pig Shell中。从HDFS加载文件数据后,当尝试使用DUMP命令将数据转储到Pig shell中时,map reduce作业被卡在0%处,并且长时间也没有完成该作业。 遵循以下给定步骤:

1)在mapreduce模式下启动Pig:

pig -x mapreduce

2)从HDFS目录将数据加载到Pig:

mapdata = load 'hdfs://ip-xxx-xx-xx-xx.us-east-2.compute.internal:8020/user/abc/datadir1' as (a:map[chararray]);

3)打印数据:

dump mapdata;

执行第3步后,在shell上获得以下消息:

  

2018-10-09 07:25:51,099 [main]信息org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-完成0%   2018-10-09 07:25:51,099 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher-正在运行的工作是[job_1539066382468_0147]

0 个答案:

没有答案