将配置单元查询结果从一个hadoop集群转移到另一个hadoop集群

Question

我有两个集群A和B。集群A有5个表。现在我需要在这5个表上运行一个配置单元查询，查询的结果应该更新集群B的表数据（覆盖结果查询的所有列）

注意：在此过程中，我们不应在群集A上创建任何文件，但允许使用临时文件。

这可行吗？要实现此目标，两个集群之间需要哪些权限/配置？

如何获得此任务/其他有效的替代方法？

完成此任务后，我应该使用Oozie实现自动化。

Answer 1

您是否为每个集群的元数据或配置单元表使用数据库？如果是，那么-如果您使用相同的数据库在两个群集中存储配置单元表，则可以共享它们。我知道这听起来很直观，但是只是提到了它，以防您未曾想到它。