如何防止hadoop将相同的jars上传到每个运行的作业上的暂存缓存

时间:2018-10-27 06:50:06

标签: hadoop yarn

我只是在hadoop中以相同的jar依赖项环境运行了不同的作业。并且在每个作业开始之前,yarn将作业自己的jar文件上载到其暂存目录中,而每个作业具有不同的作业ID。由于属于每个作业的所有jar文件都是相同的,我能告诉hadoop在公共目录下找到它们,而不是再次上传它们吗?

Jar文件上传目标目录如下: /tmp/hadoop-yarn/staging/root/.staging/job_1540620373764_0001/libjars/hadoop-common-2.8.4.jar

0 个答案:

没有答案