如何在一个群集中运行hadoop流作业并将输出写入其他群集？

Question

我有2个hadoop集群和2个不同的ugi。 我想在一个群集中运行hadoop作业，因为队列为空，但是我也想输出到其他群集，因为它的hdfs为空，我该怎么办。

在hadoop流作业中是否有与distcp一样的方式（我可以设置源ugi和dest ugi）？

非常感谢您

Answer 1

您可以在输出步骤中尝试将结果写到-output hdfs://namenode-2:port/path/data。

否则，可能需要HDFS Federation