Hadoop文件复制本机Java API与WebHDFS

Question

我要求将文件从HDFS复制到本地。现在，我有两个选择。 1）使用Hadoop Native Java API（FileSystem） 要么 2）使用WebHDFS [我没有任何问题将其启用到我的集群]

有人可以让我知道什么是首选选项以及为什么？

Answer 1

如果您使用的是Java，我建议使用原生Java API，因为它更灵活，可以为您提供更多控制。

但是，如果您不想涉及Hadoop所需的数十个库，WebHDFS会更好。它将您的应用程序与Hadoop分离。当然，由于HTTP，您需要支付一点性能成本。