Hadoop Libjars的位置

Question

我在群集上运行hadoop作业，并在运行hadoop作业时使用-libjars选项传递一些jar。我不知道在哪里可以找到集群上的这些罐子。这些罐子是否从localmachine复制到集群还有一件事。我可以在集群上找到这些罐子

Answer 1

根据Hadoop - The Definitive Guide

  

从本地文件系统（或任何文件系统，如果方案是）复制指定的JAR文件   指定）由jobtracker（通常是HDFS）使用的共享文件系统，并添加它们   到MapReduce任务的类路径。此选项是运送JAR文件的有用方法   工作取决于。

因此，指定的文件从本地文件系统复制到HDFS，然后复制到类路径中的映射器/缩减器节点。此外，这些文件被复制了mapreduce.client.submit.file.replication次数，默认为10.它被复制超过3次的原因是因为必须将文件分发到所有必需的节点。