HBase导出任务神秘地停止了记录到输出文件

时间:2017-01-25 14:24:17

标签: hadoop mapreduce export hbase hdfs

我最近尝试使用10个数据节点Hadoop集群从HBase实例导出表。命令行如下所示:

nohup hbase org.apache.hadoop.hbase.mapreduce.Export documents /export/documents 10 > ~/documents_export.out &

正如你所看到的,我没有这个过程,所以当我的SSH会话关闭时它不会过早死亡,我把整个事情放在后台。为了捕获输出,我将其定向到一个文件。

正如预期的那样,进程开始运行,实际上运行了几个小时,然后输出在我输出的文件中神秘地停止了。它通过正在运行的mapreduce作业的映射阶段停止在大约31%。但是,根据Hadoop,mapreduce工作本身仍在进行,实际上第二天早上就要完成了。

所以,我的问题是为什么输出停止进入我的日志文件?我最好的猜测是,当我完成导出中涉及的mapreduce作业的初始设置时,我调用的父HBase进程正常退出。

0 个答案:

没有答案