在-libjars和-archives之间混淆，以将辅助数据分发到任务节点

Question

我有一个MapReduce作业，它使用第三方jar并将jar文件传递给任务节点我知道有两种方法可以做hadoop jar -archive /custom.jar或hadoop jar -libjars /custom.jar提供我的工作使用GenericOptionsParser。

我的问题是哪个是最佳选择，因为jar文件可以通过-archive和-libjars选项传递？

Answer 1

文件说，

-libjar主要适合运送罐子。 -archive是一个通用目的，并且该选项将它们取消归档（这可能不需要jar使用，因为您永远不会希望jar被解压缩）在任务节点上。 archive主要用于运送任何其他文件，并使其在任务节点上可用。