oozie如何处理依赖关系？

Question

我对oozie 2.3共享库有几个问题：

目前，我在coordinator.properties中定义了共享库：

oozie.use.system.libpath=true 
oozie.libpath=<hdfs_path>

以下是我的问题：

1. 当共享库被复制到其他数据节点时，有多少数据节点会获得共享库？

2. 共享库是根据协调器作业中的wf数复制到其他数据节点还是每个协调器作业只复制一次？

Answer 1

有效地向oozie.libpath属性添加条目意味着当执行工作流中的操作时，OOZIE会将这些库配置为mapred.cache.files配置属性（这是一个DistributedCache属性）。

然后，

Hadoop将在每个作业中将这些jar复制到每个集群节点一次，然后使用类路径配置属性mapred.job.classpath.files中的jar配置任务

因此，在回答您的第二个问题时，他们将被复制到工作流程中的每个操作，而不是每个协调员工作一次。因此，如果您有一个具有4个mapreduce操作的wf作业，那么这些库将在该工作流的生命周期中被复制到每个任务跟踪器（仅参与mapreduce作业的那些任务跟踪器）4次。