在Hadoop中使用/ tmp目录的架构决策是什么?

时间:2016-06-10 08:31:45

标签: hadoop hdfs hadoop2

在hadoop中使用 / tmp 文件夹的概念是什么?使用 / tmp 文件夹的架构决策是什么?为什么不直接将数据直接复制到FSImage或Editlog?

2 个答案:

答案 0 :(得分:2)

嗯,HDFS / tmp目录的主要目的是在map reduce执行期间存储临时文件。

在运行map reduce作业时,它会创建许多临时的中间文件,并在执行完成后清除。

fsimage 包含整个文件系统命名空间,包括块到文件和文件系统属性的映射。
editlog 代表自创建fsimage以来所做的所有名称系统修改。

执行完成后将清除

/ tmp 文件。

所有这些都有不同的目的。

答案 1 :(得分:1)

如果我正确地阅读了这些内容(link 1link 2),FSImage和Editlog都在RAM中。

/tmp文件夹的主要方面可能是它......

  • 在群集重新启动时未清除
  • 被视为垃圾目录
  • 不会强制执行权限,例如主目录中的那些目录,因此可以在进程之间共享
  • 作为分布式文件空间保留为HDFS的一部分

除此之外,使用它的原因很可能类似于任何Unix环境的用例。