如何告诉Hadoop在任务被杀时不从HDFS中删除临时目录?

时间:2011-11-30 15:52:36

标签: hadoop hadoop-streaming

默认情况下,hadoop map任务将处理过的记录写入${mapred.output.dir}/_temporary/_${taskid}临时目录中的文件。这些文件位于此处,直到FileCommiter将它们移动到${mapred.output.dir}(任务成功完成后)。我有一个案例,在setup()的map任务中我需要在上面提供的临时目录下创建文件,在那里我写一些与其他地方相关的过程相关数据。但是,当hadoop任务被杀死时,临时目录将从HDFS中删除。

任何人都知道在任务被杀之后是否有可能告诉Hadoop不删除此目录,以及如何实现这一目标?我想应该提供一些我可以配置的属性。

此致

0 个答案:

没有答案