默认情况下,hadoop map任务将处理过的记录写入${mapred.output.dir}/_temporary/_${taskid}
临时目录中的文件。这些文件位于此处,直到FileCommiter将它们移动到${mapred.output.dir}
(任务成功完成后)。我有一个案例,在setup()
的map任务中我需要在上面提供的临时目录下创建文件,在那里我写一些与其他地方相关的过程相关数据。但是,当hadoop任务被杀死时,临时目录将从HDFS中删除。
任何人都知道在任务被杀之后是否有可能告诉Hadoop不删除此目录,以及如何实现这一目标?我想应该提供一些我可以配置的属性。
此致