标签: hadoop yarn
我只是在hadoop中以相同的jar依赖项环境运行了不同的作业。并且在每个作业开始之前,yarn将作业自己的jar文件上载到其暂存目录中,而每个作业具有不同的作业ID。由于属于每个作业的所有jar文件都是相同的,我能告诉hadoop在公共目录下找到它们,而不是再次上传它们吗?
Jar文件上传目标目录如下: /tmp/hadoop-yarn/staging/root/.staging/job_1540620373764_0001/libjars/hadoop-common-2.8.4.jar