使用Apache Falcon在集群中设置数据复制

Question

我们一直在为我们的数据提取工作流程提供猎鹰。我们需要使用falcon在两个集群之间设置复制（源复制，而不是镜像）。我遇到的问题是群集A上的用户ID与群集B中的ID不同。有没有人使用falcon进行此设置？我似乎无法找到一种方法让它发挥作用。

1）我正在从群集A =>设置复制。群集B. 2）我在群集A上定义了猎鹰作业

在作业设置时，我看起来只能定义一个拥有该作业的用户ID。如何设置群集A上的ID与群集B中的ID不同的作业？任何帮助都会很棒！

Answer 1

Apache Falcon使用“ACL所有者”，它应具有写入权限作为要复制数据的目标群集。

源群集应启用webhdfs，以便访问数据。

因此，如果用户没有保留所需的写入权限，那么在源群集上不要安排订阅源。

希望这有帮助。